- GitHubの人気のあるAIプログラミングアシスタントCopilotを使用するエンジニアは、効率にほとんど影響を受けず、むしろ誤りが41％増加する可能性がある。
- Uplevelによる800人の開発者のパフォーマンスを3ヶ月追跡し、その後Copilotにアクセスした後もう一度3ヶ月追跡した。
- Copilotは開発者に助けも害もなく、コーディングスピードも向上しなかった。
- GitHub Copilotは大規模言語モデル（LLM）を中心としており、誤った情報を幻覚し、不正確なデータを提供する傾向がある。
- AI生成のコードを使用することが、実際にはより多くの作業になる可能性があるという懸念が高まっている。
GitHub Copilotや他の大規模言語モデルを使用したAI生成コードの利用には、効率向上やバグ修正の効果が期待される一方で、実際には誤りが増えたり、コードの理解やトラブルシューティングが困難になる可能性があることが示唆されています。AIを活用する際には、その信頼性や適切な利用方法について慎重に考慮する必要があるでしょう。
元記事: https://futurism.com/the-byte/ai-programming-assistants-code-error