- サカナAIの研究者は、新しいタスクを学習する自己適応言語モデルTransformer²を開発
- 一般的なファインチューニングの代わりに、Transformer²は推論中にパラメータを動的に調整
- Transformer²はSVDを使用して、モデルの重要なコンポーネントを特定し、タスクに適した重みの調整を行う
- Transformer²はLoRAよりも優れた性能を発揮し、推論中に重みを適応させることができる
- 研究者は、他のモデルに知識を転送する可能性を示唆し、汎用的なz-ベクトルを学習する可能性も示唆
Transformer²は、推論中にパラメータを動的に調整することができるAIモデルであり、SVDを活用してモデルの重要なコンポーネントを特定し、タスクに応じた最適な性能を実現します。LoRAよりも優れた性能を示し、重みを適応させることができる点で柔軟性があります。また、知識を転送する可能性も示唆され、汎用的なz-ベクトルの学習も可能性があります。