- Nvidiaは最新のMLPerf業界ベンチマークInference v4.1で、近日公開予定のBlackwell GPUの結果を発表
- Blackwellプラットフォームは、第2世代のトランスフォーマーエンジンとFP4テンソルコアを使用し、LLama 2 70BというLLMワークロードでHopperアーキテクチャより最大4倍の性能を発揮
- MoEはLLM展開に柔軟性をもたらす方法として人気を博しており、一つの展開でさまざまな質問に回答したり、多様なタスクを実行したりできる
- Blackwell GPUsは、NvidiaのNVLinkとNVSwitchハードウェアを使用して最大72個のクラスタで運用可能
- GB200 NVL72クラスタは、36のGrace CPUsと72のBlackwell GPUsを液冷ラックのペアで接続し、1世代前より30倍高速なリアルタイム兆パラメータLLM推論を提供
この記事では、Nvidiaが近日公開予定のBlackwell GPUのMLPerf業界ベンチマークInference v4.1の結果を発表したことが述べられています。Blackwellプラットフォームは、第2世代のトランスフォーマーエンジンとFP4テンソルコアを使用し、LLama 2 70BというLLMワークロードでHopperアーキテクチャより最大4倍の性能を実現しました。MoEはLLM展開に柔軟性をもたらすことができ、Blackwell GPUsはNVLinkとNVSwitchハードウェアを使用して最大72個のクラスタで運用可能です。GB200 NVL72クラスタは、36のGrace CPUsと72のBlackwell GPUsを液冷ラックのペアで接続し、1世代前より30倍高速なリアルタイム兆パラメータLLM推論を提供することができます。