- Transformer²は、様々なタスクに対応するために重みを動的に調整する機械学習システムである。
- 自然界の適応は、たとえばタコが自分の周囲に溶け込むように皮膚の色を変えたり、脳が怪我後に自己修復することで失った機能を回復し、新しい考え方や移動方法に適応するなど、印象的な現象の1つである。
- 新しいシステムは、自らの重みやアーキテクチャを変更して、遭遇するタスクの性質に適応する新世代の適応型AIモデルを切り拓くものであり、連続的な変化と生涯学習が可能な生きた知性を具現化する。
自己適応型AIモデルのTransformer²は、様々なタスクに対応するために重みを動的に調整する機械学習システムである。新しいシステムは、遭遇するタスクの性質に適応するために自らの重みやアーキテクチャを変更し、連続的な変化と生涯学習が可能な生きた知性を具現化するものである。
元記事: https://sakana.ai/transformer-squared/