新しい報告書では、従来のLLMトレーニングに対する収益の減少への懸念が浮かび上がっています。
- AI業界の多くの観察者は、新しいAIモデルの急速な能力向上を見て、指数関数的なパフォーマンスの向上が今後も続くだろうと考えてきました。
- 最近では、一部のAI「スケーリング法則」の楽観主義が、従来の方法で訓練された大規模言語モデルの能力に既に頭打ちになりつつあるという懸念に取って代わられています。
- OpenAI内の関係者たちの間でこれらの懸念が具体化しているとThe Informationの週末の報告書が効果的にまとめています。
- OpenAI共同創設者のIlya Sutskeverは、LLMが従来の事前トレーニングから得られるものに頭打ちになっているという懸念に追加しました。
- 問題の大部分は、新しいLLMがトレーニングするための新しい、質の高いテキストデータの不足にあると専門家や内部関係者が指摘しています。
- 一部の人々は、将来のAIモデルが新しいトレーニング知識ではなく推論能力の向上に基づいてスケーリングすることを期待しています。
- 現在のLLMトレーニング方法が頭打ちになりつつある場合、次の大きなブレークスルーは特殊化によってもたらされるかもしれません。
私の考え: 新しいAIモデルの成長と進化は重要ですが、適切なトレーニングデータの獲得とモデルのスケーリング方法の選択がますます重要になっています。特に、将来のAIモデルの特殊化には、新たな可能性があるように思います。
元記事: https://arstechnica.com/ai/2024/11/what-if-ai-doesnt-just-keep-getting-better-forever/