- Tensorwaveが公開したAMD MI300XのLLM推論AIワークロードの最新ベンチマークは、NVIDIA H100よりも3倍高いパフォーマンスを提供
- Tensorwaveは、AMDのMI300アクセラレータのパフォーマンスをAI LLM推論ベンチマークでNVIDIA H100と比較し、3倍の高性能を示した
- AMDのMI300とMK1の加速AIエンジンとモデルは、Mixtral 8x7Bモデルを使用して、複数のLLMで高速かつ最適化されたパフォーマンスを提供
- オフライン性能では、AMD MI300Xは、バッチサイズが1から1024までの範囲で、NVIDIA H100に比べて最大194％（ほぼ3倍）のパフォーマンス向上を示し、すべてのバッチサイズでH100よりも速かった
- オンライン性能では、AMD MI300Xアクセラレータは、平均遅延時間5秒を維持しながら、2つのNVIDIA H100 GPUに対して1秒あたり33％以上のリクエストを提供し、H100よりもはるかに高いスループットを提供
私の考え：AMDのMI300Xは、オフラインおよびオンラインの推論タスクの両方でNVIDIAのH100を上回り、高いスループットだけでなく、高速な応答時間を必要とする実世界のシナリオでも優れた性能を発揮しています。競争力のあるコストとハードウェアの可用性を考えると、MI300XはMK1ソフトウェアとともにAI推論能力を拡張したい企業にとって優れた選択肢です。