要約:
- 大規模言語モデル（LLMs）は、問題解決に関する思考プロセスを生成するためにより多くの計算サイクルを与えることで、より複雑な問題を解決できる可能性がある。
- Meta FAIR、UC Berkeley、NYUの研究者らは、LLMsに思考能力を持たせる新しいトレーニング手法を導入し、一般的な指示に従う性能を向上させた。
- 研究では、Thought Preference Optimization（TPO）を導入し、内部思考プロセスを最適化するトレーニング方法を提案。
- TPOは、LLMが「思考」と「応答」の2つの部分からなる応答を生成するようにトレーニングし、内部思考プロセスを最適化する。
- Thinking LLMは、AlpacaEvalおよびArena-Hardのベンチマークで強力な勝率を達成し、思考が問題解決に加えて一般的知識やその他のカテゴリにおいてもパフォーマンスを向上させた。
考察:
思考を導入することで、LLMsが一般的な指示に従うタスクにおいて優れたパフォーマンスを発揮し、問題解決に限らず様々なカテゴリでの性能向上が示された。新しいトレーニング手法や思考プロセスの最適化は、AIの発展において重要な進歩であると言える。
元記事: https://bdtechtalks.com/2024/11/04/thinking-llms/