NVIDIA がデコードアルゴリズム「Medusa」で Llama 3.1 を 1.9 倍に強化

9月 8, 2024

NVIDIAのHGX H200 AIアクセラレータは、NVIDIA独自のデコーディングアルゴリズム「Medusa」を使用して、Llama 3.1推論に大幅な改善をもたらした。
性能は、複数のGPUが「1つの強力なGPU」としてリクエストを処理することに依存し、低遅延かつ高スループットを提供するためには、GPU間通信の高速化と複数GPUの活用が重要。
NVIDIA HGX H200サーバーでは、8つのH200 Tensor Core GPUと4つのall-to-all NVLink Switchチップを搭載し、各GPU間の通信帯域幅が900 GB/sである。
TensorRT-LLMを使用して最適化アルゴリズムを実装し、最新のLLMで高性能な推論を実現。
Medusaは、独自のモデルを使用して次のトークンを予測することでトークン生成のスループットを向上させる技術であり、HGX H200での性能向上をもたらす。

技術の進化がユーザーエクスペリエンスの向上と推論コストの削減につながっていることがわかる。将来のアップデートに期待が高まる。