- Metaのアプローチは、マルチトークン予測と呼ばれるもので、AIモデルのトレーニング中に、複数のトークンを同時に生成するように訓練される。
- このアプローチにより、AIモデルはより正確な出力を生成する可能性があり、非効率な「次トークン予測」の代わりに複数トークンを同時に予測する。
- マルチトークン予測の利点は、推論段階でメモリ効率的であり、予測を高速化することができる。
- 研究チームは、トークンごとに異なる重要性を持ち、正しい決定がテキスト生成の品質に影響を与えると述べている。
- マルチトークンアプローチは、選択肢が将来の結果に影響を与えるリンクされた選択肢として定義され、最適なトークンの予測に重要である。
マルチトークン予測は単一トークン予測よりも優れている可能性があり、将来的には強化学習との統合により、生成AIに多くの可能性があると期待される。