- MicrosoftとBeihang大学の研究者が、大規模言語モデル（LLM）の微調整のための新しい技術MoRAを導入
- MoRAは、他の人気のある技術である低ランク適応（LoRA）などのいくつかの制限に対処する、パラメータ効率のよい微調整（PEFT）技術である
- LoRAは、テキスト分類や指示調整などのタスクではうまく機能するが、MoRAは数学的推論や継続的事前トレーニングなど、LLMの能力向上を必要とするより複雑なタスクで優れている
- MoRAは、LoRAの制限に対処するために、低ランク行列の代わりに正方行列を使用し、高いランクの更新から利益を得ている
MoRAは、LoRAよりも新しい知識を学習する能力が高く、同じサイズのLoRAモデルよりも優れた性能を示している。MoRAアダプターのランクを増やすことで、数学的推論タスクにおけるPEFTとフル微調整の性能差をなくすことができるが、トレーニングおよびストレージのコストが高くなる可能性がある。
MoRAは、LoRAの制限に対処するために正方行列を使用することで、より高いランクの更新能力を持つことができます。これにより、新しい知識をより効果的に学習し、記憶できるようになります。