要約
- 研究者のアプローチは、カスタムLLMを作成し、従来の浮動小数点数ではなく三値（-1、0、1）のみを使用するよう制約を加えることから始まった。
- 彼らは、計算的に高価な自己注意メカニズムを単純かつ効率的なユニット（MatMul-free Linear Gated Recurrent UnitまたはMLGRU）に再設計した。
- 彼らは、三値の重みを使用するためにゲート化された線形ユニット（GLU）を適応し、チャネルミキシングに用いた。
- MatMul-free LMは、SlimPajamaデータセットで学習され、Llama 2ベースラインに対して競争力のあるパフォーマンスを達成した。
- 研究者は、MatMul-free LMが従来のLLMよりも非常に大規模なスケールで優れた性能を発揮する可能性があると述べている。
考察
UC Santa Cruzの手法は、従来のLLMのパフォーマンスを超える可能性があります。より多くのリソースが提供されれば、この軽量な言語モデリング手法をさらに発展させることができるでしょう。