要約:
- NVIDIAはMLPerf Training v4.0で新たなパフォーマンス記録を樹立し、生成AIとLLMトレーニングで優位性を示した。
- MLPerf Training v4.0では、NVIDIAが大規模言語モデル（LLM）や生成AI分野での記録を更新し、業界標準のベンチマークを達成した。
- 更新されたテストスイートには、GPT-3 175Bのトレーニング時間を10.9分から3.4分に削減するなど、NVIDIAのハードウェアとソフトウェアソリューションが最適化され、前回の記録を更新。
- NVIDIAはLLMのファインチューニングにおいても新記録を樹立し、LoRA技術を活用して1,024個のH100 GPUを使用してファインチューニング時間を1.5分に短縮。
- NVIDIAはGNNトレーニングでも新記録を達成し、8、64、512のH100 GPUを使用して最大規模構成でわずか1.1分の記録時間を達成。
感想:
NVIDIAは生成AIやLLMトレーニングにおいて、MLPerf Training v4.0で驚異的なパフォーマンスを達成しました。特にハードウェアとソフトウェアソリューションの最適化により、前回の記録を更新するなど、AIトレーニング分野でのリーダーシップを示しています。NVIDIAの取り組みは、AIワークロード全体にわたる高い汎用性と効率性を示し、より要求の厳しいモデルのトレーニングを可能にします。今後の展望として、NVIDIA Blackwellプラットフォームは、トリリオンパラメータAIを民主化し、NVIDIA Hopper GPUと比較して最大30倍高速なリアルタイムトリリオンパラメータ推論と最大4倍高速なトリリオンパラメータトレーニングを提供すると約束されています。
元記事: https://blockchain.news/news/nvidia-breaks-records-generative-ai-mlperf-training-v4-0