- LLMs（Large Language Models）はチャット、プログラミング、検索などのさまざまなアプリケーションを革新し、AI業界で重要な位置を占めている。
- ただし、複数のLLMsを効率的に提供することはエンドポイントプロバイダーにとって重要な課題となっている。
- 既存の方法論は、空間分割など、リソース利用の改善が必要である。
- 研究者たちはMuxServeを提案し、複数のLLMsを効率的に提供するための柔軟な空間-時間的多重化アプローチを示している。
- MuxServeは、既存のシステムに比べて最大1.8倍のスループットを実現し、効率的なマルチLLM提供における重要な進歩を達成している。
研究者たちが提案したMuxServeは、複数のLLMsを効率的に提供するための柔軟な空間-時間的多重化アプローチであり、GPU利用率を最大化する最適リソース割り当てを見つけるための最適化問題を定式化している。MuxServeは、さまざまな人気度とリソースニーズを持つLLMsを効果的に共有し、全体的なシステム利用率を改善している。