要約：
- OpenAIがSWELancerという新しいベンチマークを導入しました。
- このベンチマークは、フリーランスのソフトウェアエンジニアリングの実践的なタスクをテストすることを目的としています。
- 1,488のUpworkのフリーランスソフトウェアエンジニアリングの仕事に基づいており、合計で100万ドルの支払いが可能です。
- SWE-Lancerには1,400以上のソフトウェアエンジニアリングタスクが含まれており、プロジェクトは$50のバグ修正から$32,000の機能の実装まで幅広いです。
- AIモデルのパフォーマンスを実世界の金銭価値にマッピングすることで、ソフトウェア開発におけるAIの経済的影響を研究するための重要なツールを提供しています。
- 別の調査では、AIが職場に与える影響に焦点を当てており、ソフトウェア開発やテクニカルライティングなどがAIが利用される主要な分野であることが特定されました。
考察：
SWELancerの導入により、大規模な言語モデルが実際のフリーランスソフトウェアエンジニアリングの課題をどのように達成できるかがテストされることで、AIのソフトウェア開発への経済的影響を研究するための貴重なツールが提供されています。これにより、AIが人間の能力を向上させる分野や自動化に焦点を当てる分野が明らかになりました。しかし、物理的な環境との相互作用を含むタスクではAIがほとんど役割を果たしていないことが示されています。