- Metaのアプローチは、マルチトークン予測と呼ばれるもので、AIモデルのトレーニング中に、4つ以上の可能性のあるトークンを同時に生成するように訓練される。
- GPT-4などの生成AIモデルは、複数選択問題への回答など、思考に似たテキスト出力を生み出す能力で驚かせてくれたが、正しい回答を出すことはまだ難しい。
- Metaの新しい研究では、誤った回答にペナルティを導入することで、より正確な出力を生み出すように大規模言語モデル（LLMs）を調整している。
- マルチトークン予測アプローチは、AIモデルに望ましくない回答に対するコストを注入し、AIにガードレールを確立する人気のアプローチに類似している。
考え:
このアプローチは、AIモデルのトレーニングと推論段階の両方でメモリ効率が向上し、選択されるトークンの重要性に重点を置くことで、より正確な出力を実現しているように思われます。マルチトークン予測アプローチは、次のトークン予測よりも有益である可能性があり、強力な結果をもたらすことが示唆されています。