- Devinは研究者から与えられたほとんどのタスクを完了できなかった
- Devinは20のコーディングタスクを与えられ、3つしか完了できなかった
- AIのコーディングツール、Devinは、タスクを達成するために不必要な経路を取り、期待よりも時間がかかった
- DevinはUpworkでの仕事を受けることができるとされていたが、第三者の研究者による再現性がなかった
- Devinは20のタスクのうちわずか3つしか成功せず
- Devinはシンプルなタスクに対しては成功する可能性があるが、大規模なタスクには対処できないことが示唆された
私の考え：この記事からは、AIのコーディングアシスタントであるDevinが大規模なタスクには対処できない可能性があることが明らかになりました。小規模なタスクには成功する可能性がありますが、開発者が大きな問題に集中できるほどの効果はないようです。AIの能力や限界をより良く理解する必要があると感じます。