- 従来のLLMは、ユーザーのために行うタスクとは関係のないタスクで訓練されている。
- Bertから始まり、LLMのトレーニングは通常、文の次のトークンを予測したり、一部のトークンを削除してアルゴリズムにブランクを埋めさせたりすることから構成される。
- LLMの最適化は教師なし機械学習の問題であり、トレーニングには不向きである。
- LLMの評価尺度を直接最適化するアプローチが提案されている。
- LLMの評価尺度には重要な機能が欠如しており、現在の評価およびベンチマーク尺度が不足している。
私の考え：LLMの訓練は必要がないという議論が示唆されている。評価尺度の改善が重要であり、特化型LLMの構築が汎用型よりも意味があるとされている。また、LLMの評価基準の不足が指摘されており、新たなアプローチが求められている。
元記事: https://www.datasciencecentral.com/there-is-no-such-thing-as-a-trained-llm/