- MLPerfにおけるNvidia Blackwell、AMD、Google、Untether AIの初のベンチマーク結果が公開
- NvidiaのBlackwellチップはLLM Q&Aベンチマークで最高のGPUパフォーマンスを示す
- MLPerfにはさまざまなカテゴリーとサブカテゴリーがあり、データセンター向けカテゴリーで最も多くの提出があった
- 各カテゴリーには9つの異なるベンチマークがあり、Mixture of Expertsという新しいベンチマークも導入された
- Nvidia Blackwellは4ビット浮動小数点精度を使用しており、低精度の数値を使用する課題を高い精度で維持するための革新が必要
AI推論においても競争が激化しており、Nvidia Blackwellのパフォーマンスは従来のチップよりも優れていることが示された。低エネルギー消費と高い処理速度が求められるエッジ向けカテゴリーではUntether AIが効率的なチップを使用して成功を収めている。
元記事: https://spectrum.ieee.org/new-inference-chips