- ChatGPTを含む生成AIチャットボットがプログラミングの質問に対して不正確な回答を提供する可能性がある
- Purdue大学の研究チームがChatGPTに送られた517件のStack Overflowの質問を調査
- ChatGPTはプログラミングの質問に対して52％の間違った回答を提供
- 人間のプログラマーはChatGPTの回答を35％の間、誤りを見逃すことが39％の間に好む
- 生成AIボットは依然として多くの誤りを comit し、人間がこれらの誤りを見逃す可能性がある
- GoogleのAI Overviewsも一部の検索文字列に奇妙でエラーが多い回答を生成している
- Googleは一部の誤りを「孤立した例」として説明し、システムを改善するために利用すると述べた
生成AI技術は進化しているものの、ChatGPTのような生成AIチャットボットがプログラミングの質問に対して不正確な回答を提供することが示されています。人間のプログラマーがChatGPTの回答を好み、誤りを見逃す可能性があることは興味深い結果です。また、GoogleのAI Overviewsも一部の誤りを抱えており、AIシステムの改善が必要であることがわかります。
元記事: https://www.neowin.net/news/new-study-claims-chatgpt-offers-wrong-programming-answers-52-percent-of-the-time/
