- 2024 NVIDIA GTCカンファレンスでは、Amazon SageMaker InferenceでNVIDIA NIM Inference Microservicesをサポートすることが発表された。
- NIMは、NVIDIA TensorRT、NVIDIA TensorRT-LLM、vLLMなどの技術を活用して構築されており、NVIDIA GPUアクセラレーションインスタンスでのAI推論を容易に、安全に、高性能に可能にしている。
- NIMは、Amazon SageMaker上での最先端のLLMの展開を迅速化し、企業向けAIアプリケーションにシームレスに統合できるようにする推論マイクロサービスのセットであり、NLPや理解能力を提供する。
- プロトタイプの開発やMLアプリケーションの展開に利用できる幅広いNIM最適化AIモデルがNVIDIA APIカタログで提供されている。
- NIMをSageMakerに展開する際は、NIMをダウンロードしてデプロイする必要があり、NGC APIキーを取得して、SageMakerで実行するためのリソースを準備する。
私の考え：
NVIDIAのNIMは、AI推論を高速かつ効率的に行うための重要なツールであり、Amazon SageMakerとの統合によって、企業向けAIアプリケーションに最先端のLLMを簡単に統合できるようになります。NIMを活用することで、AI開発者は先進的なモデルの力を活用しやすくなり、AI能力を迅速に展開できるでしょう。