• 新しいLLMアーキテクチャが導入され、トークナイザーが排除される
  • 新しい作業方法はHierarchical Autoregressive Transformers(HAT)と呼ばれる
  • AMDとSchwarz Digits/StackITがこの取り組みに参加
  • Aleph Alphaの創設者兼CEOは、文化、産業、国ごとに主権を持つAIモデルへの機会を見出す
  • Nvidiaは競合他社に性能面で劣ることが示され、AMD Instinct MI300チップでのパフォーマンスは優れている
  • AMDのKeith Strier氏は、この協力がヨーロッパのAIエコシステムに弾力性と革新をもたらすと述べている

私の考え:Aleph Alphaの取り組みは、AI分野において新たな展開をもたらしており、特に言語モデルの効率性向上に貢献しているように感じます。欧州企業や主体性を重視する取り組みが注目される中、HATという新しいアーキテクチャは将来のAIソリューションの進化に寄与する可能性があります。また、Nvidiaに代わるAMDの登場や、フィンランド語などの少数言語におけるトークナイゼーションの難しさに対する解決策としてのHATの採用は、多言語環境におけるAI開発において重要な一歩と言えるでしょう。

元記事: https://www.techzine.eu/news/infrastructure/128038/aleph-alpha-solves-a-fundamental-genai-problem-tokenizers/