- カリフォルニア大学サンタクルス校の研究者が開発した低消費電力AI技術は、大規模な言語モデルの計算コストとメモリ使用量を削減し、10億パラメータのLLMモデルのエネルギー効率を13Wに向上させる。
- 新しい低消費電力カスタムエッジAIチップの可能性が開かれるが、SMLを含む小規模言語モデルはトランスフォーマーに基づいており、メモリ使用量が多い。
- UCSCの研究により、GPU上でのサービス（ChatGPT、GPT4など）の最新LLMの実行におけるエネルギーコストが課題となっているが、計算コストの高い行列乗算層が排除されている。
- 研究者は、MatMul-freeトークン生成コアのRTL実装をIntel FPGA DevcloudのD5005 Stratix 10プログラマブルアクセラレーションカード（PAC）にデプロイし、8ビットトークンを使用している。
- 研究者は、1つのコアが42msで実行され、23.8トークン/秒のスループットを持ち、人間の読書速度に達し、人間の脳の消費電力と同等の効率を実現している。
私の考え:
この研究は、低消費電力AI技術の重要性を示しており、MatMul-freeアプローチがエネルギー効率を向上させる可能性を持つことが示されています。特に、カスタムハードウェアの開発により、性能を維持しながらエネルギー消費を削減できるという点は画期的です。さらなる研究やカスタムシリコンの開発により、さらなるエネルギー効率の最適化が可能となるでしょう。
元記事: https://www.eenewseurope.com/en/low-power-implementation-for-generative-ai/