- GitHubのAIプログラミングアシスタントCopilotを使用しているエンジニアは効率において大きな利益を得ていない
- Uplevelの調査によると、Copilotの使用はコードに41%のエラーを誤って入力することにつながる
- Uplevelは800人の開発者のパフォーマンスを追跡し、Copilotの使用後もコーディングスピードが向上しないことを発見
- GitHub Copilotは大規模言語モデル（LLM）を中心としており、誤った情報を幻覚し、不正確なデータを出力する傾向がある
- AI生成コードのデバッグやトラブルシューティングが困難であるため、コードをゼロから書き直す方が簡単であるとの懸念が高まっている
GitHub Copilotの効果についての調査結果は興味深いものであり、AI生成コードの利用が開発者にとって本当に有益なのか疑問が残る。大規模言語モデルの特性による誤情報生成やデバッグの困難さが今後の課題として浮上している。
元記事: https://sg.news.yahoo.com/problem-ai-programming-assistants-inserting-181220965.html