デンバー — レッドハットは、業界で生成型AIが流行する中、同社の製品とNVIDIAのAIプラットフォームとの統合を拡大する計画を発表し、継続的なパートナーシップを拡大した。
これまで、Red Hat OpenShift は、GPU での一般的なコンピューティングのための並列コンピューティング フレームワークである Nvidia の Compute Unified Device Architecture (CUDA) 用の GPU Operator をサポートしていました。Nvidia のエンタープライズ AI 担当副社長 Justin Boitano 氏によると、プライベート プレビュー中の限られた数の共同顧客が、OpenShift 上でクラウドベースの Nvidia Inference Microservices (NIM) を使用しています。
しかし、Red Hat CTO の Chris Wright 氏によると、特にオンプレミス ユーザー向けの新しい LLMOps ワークフローや、RHEL AI で共同サポートされる新しいツール セットをサポートするために、NIM の OpenShift AI への統合を簡素化および合理化するさらなる機会があるとのことです。
TechTarget Editorial は今週、Boitano 氏と Wright 氏に独占インタビューを行い、両社の統合計画の技術的な詳細や、企業における AI 導入の幅広い傾向に関する見解について伺いました。
編集者注: この Q&A は、明確さと簡潔さを考慮して編集されています。
現在、人々がすでに使用できるものは何であり、今後 Red Hat と Nvidia AI から何が提供されるのでしょうか?
Chris Wright: OpenShift 上で実行されるコンテナ イメージとしての NIM は、すでに OpenShift で利用可能です。Nvidia の NIM 内での成果を OpenShift AI に統合することが、私たちが行っている作業です。OpenShift AI は、モデルのデプロイ、監視、再デプロイ、再トレーニングのライフサイクル管理を含む MLOps プラットフォームに OpenShift を拡張します。KServe は、モデル コンテンツを提供する OpenShift AI の一部です。
モデル サービングは推論に関するものです。NIM の「I」は推論です。純粋なコンテナーとしての NIM と、OpenShift AI プラットフォームの一部である MLOps ワークフローにさらに深く統合された NIM の違いです。ワークフローの最後では、推論のために KServe ベースのデプロイメントを行いますが、そのコンテキストで提供するコンテンツは NIM ベースのコンテンツです。この推論エンジンを提供する場合、ハードウェアにアクセスできるクラスター内のワーカー ノードに配置する必要があるため、Kubernetes のスケジュール設定の課題となります。KServe の一部は、推論インスタンスのデプロイメントをスケーリングする方法です。同じコンテンツをその統合なしで使用することもできますが、その場合、コア モデル内のコンテンツを中心に MLOps ライフサイクルを把握する責任を自分で負う必要があります。
NIM を使用した OpenShift AI のオンプレミス ユーザーにはどのようなサポートが提供されますか?
Justin Boitano: 現在、OpenShift AI をセットアップして Nvidia アカウントを取得し、すべてのコンテナ イメージを取得してこれらのエンドポイントをセットアップできる統合があります。私たちは、すべてを事前に入力できるように、これを合理化する方法を検討しています。
私たちは、サーバーレス API を通じてグローバル インフラストラクチャ上ですべての NIM を実行しています。これは、呼び出す API キューであり、その後、作業がバック グラウンドから取り出され、DGX Cloud 全体で実行されます。KServe アーキテクチャは同じアーキテクチャですが、オンプレミスで実行されるため、開発者は API の呼び出しを開始するだけで非常に簡単になります。インフラストラクチャをセットアップするために IT チームと連携する必要はありません。KServe は、API を呼び出すためのサーバーレス キューを提供しますが、選択したクラウドまたはデータ センター内のデータに対して API を実行します。
CIO は、プロンプトがネットワーク上にとどまり、データもネットワーク上にとどまり、IP がこれらのモデルに渡らないという事実を高く評価しています。一方、企業が最初に実験を始めたとき、正直に言うと、企業データは [モデルのトレーニングに] 使用されていることに気づいていなかったと思います。企業は、IP を制御するために何をする必要があるかを学習しており、これはそのための優れた基盤を提供します。
これは RHEL AI とどのように連携するのでしょうか?
ライト氏: Linux で実行されるコンテナーはアクセラレーターにアクセスする必要がありますが、RHEL AI の役割の 1 つは、それを簡単にすることです。オペレーティング システムはハードウェアを有効にし、アプリケーションに一定レベルの一貫性を持たせて、特定のハードウェア デバイスのレジスタに個別にハードコードされないようにしています。RHEL AI の他の部分は Granite モデル、その Granite モデルにスキルと知識を追加する方法としての InstructLab、そしてその下にはオペレーティング システムとハードウェア プラットフォームでそのモデルを実行するための最適化されたランタイムがあります。Nvidia GPU のコンテキストでは、カーネルにプラグインされるデバイス ドライバー、Nvidia のソフトウェア ライブラリのレイヤー、高レベルのランタイムに一貫性を与える CUDA スタックがあります。この最適化されたスタック全体が、RHEL AI で提供するものの一部であり、OpenShift AI の構成要素として考えることができます。
Boitano: PyTorch をフレームワークとして採用し、GPU で実行できるようにパフォーマンスを最適化しています。新しい技術が登場するたびに、それらのフレームワークを最適化し続けなければなりません。次に、PyTorch から PyTorch Lightning、そして NeMo へと下流の [フロー] があり、そこで [ワークロード] を並列化するための追加のチューニング技術が追加されます。… 私たちは、ユーザーが選択して使用できる一種の高速化フレームワークとして、RHEL AI 上に NeMo を搭載した InstructLab を提供しています。
これらすべてがまだ初期段階であることは明らかです。しかし、早期導入者もいます。生成型 AI アプリの開発方法に、何らかのパターンが形成されつつあるのを目にしていますか?
ライト: 非常に速いペースで進んでいるので、実に興味深く感じます。例を挙げましょう。ジャスティンと私がこの会話を始めたとき、そしてこの発表が最高潮に達したとき、私たちは、Nvidia が NIM のコンテキストで行っている価値と取り組みを、オンプレミスの OpenShift と OpenShift AI にもたらすという非常に重要なビジョンを抱いていました。クラウドは、簡単に開始して実験できる場所です。しかし、何かを学んだ直後に必ず生じる疑問は、「自分のデータはどうなるのか?」です。
そこで私たちが期待したのは、次に重要なことは、RAG ベースのソリューションを提供して、基盤モデルを独自のデータで拡張することだと考えていました。RAG が非常に重要だった理由は、微調整が実際には非常に難しいからです。しかし、InstructLab の調整調整によって基盤モデルに新しいスキルと知識が取り込まれると、そのモデルと RAG の関係が少し進化します。モデルに注入する必要があるコア知識でモデルをトレーニングしたため、RAG が必要ないコンテキストが見つかることもあります。他のコンテキストでは、RAG には、データベースの動作方法と応答の生成方法に関する明確に定義された一貫性に関する特定のプロパティがあり、それ自体が価値のあるものになります。しかし、ほんの数か月前に私たちがどこに向かっているのかと尋ねられたら、RAG は次に注目すべき明確なトレンドだったと答えたでしょう。そして、それからわずか数か月後の今、業界が本当に急速に変化しているのがわかります。
Boitano: 生成 AI で最初の成果を上げたい顧客は、通常、RAG スペクトラムから始めます。その後、微調整に戻り、新しい手法を徐々に学習します。そうすることで、アプリケーションの精度が向上します。RAG は、それらのごく一部に対処して、迅速な成果を上げ、成功を示すことができます。その後、微調整が必要な部分に着手します。
私たちが一緒により困難な問題に取り組んでいく中で、よりシンプルな方法でデータキュレーションを行う方法に取り組むという長期的な取り組みがあります。そのため、データブレンドを洗練して微調整を行うために筋金入りの AI 研究者は必要なくなり、参入障壁は引き続き下がります。
TechTarget Editorial のシニア ニュース ライターである Beth Pariseau は、DevOps を扱う IT ジャーナリズムの受賞歴のあるベテランです。ヒントをお持ちですか? 彼女にメールするか、@PariseauTT までご連絡ください。
Amazon Bedrock の早期導入者は、生成 AI をソフトウェア エンジニアリング ワークフローに組み込むことについて学んだ教訓を共有しました。
ポジティブ テストとネガティブ テストについて詳しく見てみましょう。両方を使用して徹底的なテスト アプローチの基礎を形成する方法を学びます…
開発プロセスは、高レベルの計画を本番環境対応のソフトウェアに変換する 7 つの異なるフェーズに分けられます。…
ドメイン駆動設計は、組織が主要なビジネス ニーズに重点を置いたソフトウェアを開発するのに役立ちます。ただし、そのためには、アーキテクトは次のことを行う必要があります…
多くの開発者が関数型プログラミング モデルの採用を検討していますが、まずは正確に理解することが重要です…
この SOLID 入門では、この開発イデオロギーが体現する 5 つの原則、それらが推奨する実践などについて検討します。
認定資格とトレーニング コースは、IT プロフェッショナルがクラウドで成功するための知識とスキルを習得するのに役立ちます。クラウドで何を探すべきかを学びましょう…
Microsoft の Azure Government とグローバル クラウド オファリングは、さまざまな顧客にサービスを提供しており、コンプライアンス要件も異なります。詳しくは…
NoSQL システムはクラウドでますます一般的になっています。以下から利用できるさまざまな種類の NoSQL データベースについてお読みください。
多くの組織は、膨大な数の AWS アカウントの管理に苦労していますが、Control Tower が役立ちます。このサービスは、…
Amazon EKS の価格モデルには、いくつかの重要な変数があります。数字を詳しく調べて、サービスを確実にデプロイしてください…
AWS ユーザーは、Kubernetes をデプロイする際に、EC2 上で自分で実行するか、Amazon に EKS を使って面倒な作業を任せるかという選択に直面します。詳しくは …
コードベース内のサブクラスの数を制限する必要がありますか? Java のシール クラスが役に立ちます。
ブロックチェーンと分散型台帳は似ていますが、完全に同義ではありません。その違いと使用方法を学びましょう。
本当に仕事を辞める準備ができているかどうかわからないですか? 新しい役職に移るかどうかを決める際に役立つヒントや質問を検討してください…
サイバーセキュリティは、データとシステムを保護するために不可欠です。ハイブリッド データ センターの管理者は、ハイブリッド モデルのリスクを理解する必要があります…
機器とバックアップ電源オプションが適切に機能するには、データセンターの電源システムを定期的にメンテナンスする必要があります。…
データ センターの冷却要件は、機器の熱出力、床面積、施設など、いくつかの要因によって影響を受けます。
