- OpenAIの研究者らが開発したLLMベンチマーク「SWE-Lancer」で、実際のフリーランスソフトウェアエンジニアリングタスクにおいて、ファンデーションモデルは課題解決には役立つが、誤りを犯し続けることが判明。
- 研究では、3つのLLM（GPT-4o、o1、およびAnthropicのClaude-3.5 Sonnet）に1,488のフリーランスソフトウェアエンジニアタスクを割り当て、$1 millionの支払いがあったが、モデルは全額を獲得できなかった。
- モデルは管理タスクでは優れた成績を収めたが、課題の根本原因を見つけることには失敗し、部分的または欠陥のある解決策を提供。
- AIモデルは「低レベル」コーディング問題の一部を解決できるが、まだ「低レベル」ソフトウェアエンジニアを置き換えることはできない。
研究では、AIモデルは課題解決に役立つ一方、課題の根本原因を見つけることには限界があり、完全に人間のエンジニアを置き換えることはまだできないと結論付けられました。モデルは管理タスクで優れた成績を収めましたが、課題の根本原因を見つけることに失敗しました。AIモデルは、人間のエンジニアと比べて、問題の調査や根本原因の特定には制限がありました。