- Red Hatは、Neural Magicを買収する契約を発表
- Neural Magicはディープラーニングのための高性能推論ソフトウェアを構築
- DeepSparseランタイムは、スパース性を活用してニューラルネットワーク推論を高速化
- スパースネットワークを作成する方法は3つある
- スパース性は計算速度を向上させるが、適切なスパースレベルが重要
- vLLMは、大規模言語モデルの効率的なメモリ管理を目指すオープンソースプロジェクト
- Red Hatは、オープンイノベーションによりgen AIをより多くの組織にアクセス可能にすることを計画
Neural Magicの技術と性能エンジニアリングの専門知識により、Red HatはAIの未来に向けて加速することができる。Neural Magicは、vLLMとDeepSparse技術を活用して、ハイブリッドクラウド環境でLLMワークロードを最適化、展開、スケーリングするオープンなエンタープライズグレードの推論スタックを構築している。
元記事: https://www.aiwire.net/2024/11/13/red-hat-acquisition-charts-path-to-open-accelerated-ai/