- OpenAIの新しいOrion LLMが性能の問題に直面
- 限られたトレーニングデータの入手可能性が原因かもしれない
- Orionは既存のLLMよりも性能が向上するが、GPT-3からGPT-4のような大きな進化はない
- OpenAIはLLMの開発を遅延しており、特にコーディングの分野で改善が見られない
- 新しい戦略を開発中で、”foundations team”を設立してLLMの改善方法を模索
- 他のAIモデルによって生成された合成データでOrionをトレーニングする可能性がある
- 初期トレーニング後にLLMを最適化する戦略も検討中
- OpenAIは記事についてコメントしていない
OpenAIの新しいOrion LLMが性能の問題に直面しており、トレーニングデータの入手可能性が課題である可能性があるようです。Orionは一部の分野で前任者を上回る性能を示していますが、例えばコーディングの分野では改善が見られないようです。OpenAIは新しい戦略を模索し、合成データやトレーニング後の最適化などの手法を検討しているようです。