- プログラマーは最近、OpenAIのChatGPTなどのチャットボットを使ってコーディングを支援し始め、Stack Overflowのようなサイトに打撃を与えている。
- Purdue大学の研究チームが、ChatGPTが生成するプログラミング回答の52%が間違っていることを示す研究を発表。
- ChatGPTの回答は不正確であることが浮き彫りになり、他のユーザーも同様に不正確な回答を経験している。
- 研究では、517のStack Overflowの質問を検討し、ChatGPTの回答を分析。
- ChatGPTの回答は情報の誤りを含むことが分かり、人間の回答より冗長であり、不一致がある。
ChatGPTの誤りが多いことが指摘されているが、人々はそれに気づかず、ChatGPTの回答を好むことが示されている。ChatGPTの回答は丁寧で教科書的であるため、参加者は一部の情報の誤りを見逃してしまう可能性がある。
ChatGPTにはまだ大きな欠陥があり、Stack Overflowから解雇された人々やAIによる間違いを修正しなければならないプログラマーにとっては、それは冷たい慰めとなる。
元記事: https://futurism.com/the-byte/study-chatgpt-answers-wrong