- OpenAIの新しい言語モデル「Orion」は、前任のGPT-4より僅かに性能が向上しており、業界全体に影響を与える
- Orionはプログラミングなどの分野では前任に一貫して勝ることができず、言語能力の向上にのみ焦点が当てられている
- OpenAIは高品質なトレーニングデータの不足を指摘し、Nick Ryder率いる「Foundations Team」を設立する
- OpenAIは合成データを使用して学習し、OrionはGPT-4と「reasoning」モデルo1の合成データの一部でトレーニング済み
- 産業全体にわたる停滞が見られ、大手企業が大規模な投資をより良いAI性能に効果的に変換できない可能性が示唆されている
この記事からは、言語モデルの開発が停滞しており、新しいアプローチが求められていることが分かります。AI業界全体が同様の課題に直面しており、合成データの活用や新たなスケーリングの機会を追求する方向性が示唆されています。
元記事: https://the-decoder.com/openais-new-orion-model-reportedly-shows-small-gains-over-gpt-4/