- AIソフトウェアエンジニアとして紹介されたサービス「Devin」は、最近の評価によると仕事があまりうまくできていないようだ。
- Devinは2024年3月に導入された自動コーダーで、作成者であるCognition AIという組織は「Devinはアプリを構築して展開し、コードベースのバグを自律的に見つけて修正できる」と主張している。
- DevinはSlackを主要インターフェースとして使用し、コマンドはDockerコンテナ経由で送信される。
- Devinは複合AIシステムであり、OpenAIのGPT-4oなどの複数の基盤AIモデルに依存しており、時間の経過とともに進化する可能性がある。
- Devinに20のタスクを提示した結果、3つのタスクのみが成功し、3つは結果が不明瞭で、14プロジェクトは完全な失敗だった。
私の考え：Devinは非常に魅力的な機能を持っているように見えますが、実際の運用においては期待通りに機能していないようです。複雑なタスクに対しては十分な対応ができず、時間のかかる問題に直面しているようです。改善が必要な領域が多いように感じます。
元記事: https://www.theregister.com/2025/01/23/ai_developer_devin_poor_reviews/