- 新リリースの実験結果によると、脳をヒントにしたNorthPole研究プロトタイプチップは、次に速いGPUよりもかなり低いレイテンシーを達成し、次に効率の良いGPUよりもはるかに高いエネルギー効率を実現した。
- IBMリサーチのチームは、AIを規模で提供するために、明日のプロセッサーがエネルギーを少なく消費し、より速く動作するために、チップアーキテクチャの基本を見直している。
- NorthPoleはAI推論アクセラレーターチップであり、他のチップよりも低いレイテンシーを達成し、次にエネルギー効率の高いGPUよりも72.7倍のエネルギー効率を実現している。
- NorthPoleは、メモリと処理を同じ場所に配置することで、von Neumannボトルネックを排除し、13テラバイト/秒のオンチップメモリ帯域幅を達成している。
- チームは、NorthPoleをデータセンターの言語モデルに使用することを試み、良好な結果を得た。今後は、より多くのNorthPoleチップを含むユニットを構築し、さらに大きなモデルをマッピングする計画。
私の考え:
この研究は、AI推論におけるエネルギー効率とレイテンシーの向上に革新をもたらしており、今後はより大きなモデルや新しいシステムにも応用される可能性があります。特に、オンチップメモリと処理の統合は、従来のアーキテクチャとは異なるアプローチであり、AIハードウェアの進化を示しています。IBMの研究チームの今後の取り組みにも期待が持てる内容です。
元記事: https://research.ibm.com/blog/northpole-llm-inference-results