- AI研究は、規模競争に支配され、「大きければ良い」というパラダイムが主導する方向に進んでいる。
- 大規模な機械モデルを大規模なデータセットで訓練するために、AI研究室やテックジャイアントが常に大きな計算クラスターを構築している。
- 大きいほど良いというパラダイムは、AI研究において自己強化サイクルを作り出しており、規模に焦点を置かない研究に資金やリソースが十分に割かれていない。
- 大規模モデルの費用や普及により、AI研究の予算要件は大学の研究室にはアクセスしにくくなり、多くの研究室が富裕な企業との緊密な関係に依存するようになっている。
- AIの分野で共有目標と優先事項を整合させることは容易ではないが、研究コミュニティが規模以上の科学的問題を追求し、規模に伴うトレードオフに関わる科学的議論を促進する必要がある。
自己強化サイクルによって、AI研究は規模重視の方向に進んでおり、それが研究の多様性や効率性に影響を与えていることが明らかになっています。大規模モデルだけでなく、効率性やコストにも配慮した研究や製品開発が必要であり、そのためにはリソース効率を重視した研究方針が求められています。
元記事: https://bdtechtalks.com/2024/10/20/costs-ai-bigger-is-better/