• 新しい圧縮アルゴリズムにより、スマートフォンやノートパソコンで巨大なAIモデルを実行可能に
  • 新しいアルゴリズムCALDERAは大量のデータを圧縮し、精度と微妙さを保ちつつ、エネルギー効率を改善
  • 研究によると、このアルゴリズムは、MetaのLlama 2とLlama 3モデルで現存の圧縮アルゴリズムよりも最大5%の改善を達成
  • スマートフォンやノートパソコンでAIモデルを実行する際に、プライバシーが重要で最大の精度が必要でない場合に有用

この記事では、新しい圧縮アルゴリズムCALDERAについて紹介されています。このアルゴリズムは大規模なAIモデルをスマートフォンやノートパソコンで実行可能にし、エネルギー効率を改善しつつ精度と微妙さを保つことができることが示されています。特に、MetaのLlama 2とLlama 3モデルにこのアルゴリズムを適用することで、最大5%の改善が実現されました。将来的には、プライバシーが重要で最大の精度が必要でない場面で、スマートフォンやノートパソコン上でAIモデルを実行する可能性が示唆されています。

元記事: https://www.livescience.com/technology/artificial-intelligence/large-language-models-can-be-squeezed-onto-your-phone-rather-than-needing-1000s-of-servers-to-run-after-breakthrough