- AI企業は、巨大な言語モデルの開発から、テスト時の計算に焦点を移している。
- 主要なAI研究所は、膨大なLLMのトレーニングに膨大な費用がかかり、複雑なシステムが頻繁に故障することに直面している。
- OpenAIの次期モデルOrionやGoogleのGemini 2.0、AnthropicのOpus 3.5モデルに関する問題が報告されている。
- OpenAIの共同創業者Ilya Sutskeverは、現在自身のAI研究所SSIを運営し、「今重要なのは正しいものをスケールさせること」と述べている。
- AI研究所は、テスト時の計算に注目し、問題を解決するための時間をモデルに与えることで、スケーリングの新たなアプローチを模索している。
- 従来の言語モデル開発は続く可能性があり、OpenAIのo1は数学的な処理を向上させ、GPT-4はテキストの生成を効率的に行う。
- このシフトは、AIハードウェアの分野にも影響を与える可能性があり、Nvidiaの支配を揺るがすかもしれない。
考察：
この記事から分かるように、AI企業は巨大な言語モデルの開発に対するアプローチを変えつつあり、テスト時の計算に注力する方向にシフトしています。従来のスケーリングに対して、問題解決に時間をかける新しいアプローチを模索しており、これによりAIシステムの進化が期待されています。また、これがAIハードウェアの分野にも影響を与える可能性があり、今後の展開が注目されます。