- ChatGPTによるプログラミングクエリに対する回答の52％が誤情報を含んでいた
- ChatGPTの回答は人間が生成した解決策と比較して77％もの言葉が多かった
- ChatGPTの回答には人間のプログラマーが提供した回答との不一致があった
- 2,000件のChatGPTの回答の分析から、AIコミュニケーションの特徴である形式的で分析的な言語が明らかになった
- 研究者による小規模な調査では、35％のプログラマーがChatGPTの回答を好んだ
研究によれば、ChatGPTは誤情報を含んでいるものの、丁寧で物腰の柔らかい言葉遣いによりプログラマーたちが誤りを見逃し、信頼してしまう傾向があることが示唆されています。