要約
- Text、コンピューターコード、プロテインチェーン、要約、ビデオ、3Dグラフィックスなどの生成AIアプリケーションは、大規模言語モデル（LLMs）を効率的にトレーニングするためにデータセンタースケールのアクセラレーテッドコンピューティングを必要とする。
- NVIDIAのBlackwellプラットフォームは、MLPerf Training 4.1の業界ベンチマークで印象的な結果を提供し、LLMベンチマークでは、GPT-3 175Bの事前トレーニングなどでGPUあたり最大2.2倍のパフォーマンスを実現した。
- Blackwellの高いGPUあたりの計算スループットと大容量かつ高速な高帯域幅メモリを活用して、GPT-3 175Bベンチマークを少ないGPUで実行して優れたGPUあたりのパフォーマンスを達成できる。
- Blackwellのトレーニング結果は、MLPerf Inference 4.1に続くもので、FP4精度とNVIDIA QUASAR量子化システムを活用して、ベンチマークの精度要件を満たしながら強力なパフォーマンスを実現した。
- NVIDIAのパートナーは、最新のラウンドでMLPerfに印象的な結果を提出し、業界標準のベンチマークとベンチマークのベストプラクティスの役割を重要視している。
考察
NVIDIAのBlackwellプラットフォームは、生成AIトレーニングパフォーマンスを前進させるアーキテクチャを提供しており、効率的なTensor Coresの使用や高帯域幅メモリの活用により、優れた結果を達成しています。MLPerfベンチマークにおけるNVIDIAの持続的なソフトウェア開発やパフォーマンス向上は、AIコンピューティングの革新を推進し、重要なプラットフォーム投資の収益を高めています。また、業界標準のベンチマークの重要性を認識し、MLCommonsの創設メンバーとして、AIコンピューティングの最新動向に追いつき、重要なプラットフォーム投資の決定を導くために必要なデータにアクセスできる環境を構築しています。
元記事: https://blogs.nvidia.com/blog/mlperf-training-blackwell/