• AIの大規模言語モデルは、根本原因を特定したり包括的な解決策を提供するのに苦労している
  • OpenAIの研究によると、AIはソフトウェアエンジニアをまだ置き換えることができない可能性がある
  • SWE-Lancerというベンチマークを作成し、AIのソフトウェアエンジニアリングおよびマネージャー業務の完了能力を評価
  • AIは問題の場所を特定するのに優れているが、根本原因を見つけるのが苦手
  • AIコーディングツールはソフトウェアエンジニアリングをより生産的にする可能性があるが、AI生成コードの潜在的な欠陥に注意が必要

AIの大規模言語モデルは、特定のタスクにおいては優れているが、根本原因の特定や包括的な解決策の提供には苦労しているようです。OpenAIの研究によると、AIはソフトウェアエンジニアをまだ置き換えるには至っていないという結論が出ています。AIが問題の場所を素早く特定し、必要なリポジトリにアクセスする能力はあるものの、問題が異なるコンポーネントやファイルにわたってどのように広がるかについての理解が限られているようです。これにより、不適切または十分に包括的でない解決策が生じることがあり、AI生成コードには欠陥がある可能性があるという警告が出ています。

元記事: https://www.itpro.com/software/development/frontier-models-are-still-unable-to-solve-the-majority-of-tasks-ai-might-not-replace-software-engineers-just-yet-openai-researchers-found-leading-models-and-coding-tools-still-lag-behind-humans-on-basic-tasks