Red Hat は、毎年恒例のサミットを締めくくる忙しい 1 週間を過ごしました。デンバーでのイベント訪問中に、同社はオープンソース AI の開発を推進することを目的とした新しい取り組みである InstructLab を発表しました。
基本的に、InstructLab は、トレーニングを簡素化および強化することで、大規模言語モデルの開発を前進させる必要があります。実際、InstructLab の親会社である IBM と緊密に連携している Red Hat によると、企業は LLM の適応に課題を抱えています。この課題により、トレーニング済みの LLM を企業のニーズに適応させることが困難になっています。
企業の障害をもう少し詳しく見てみると、Red Hat は、組織が知識やスキルを追加するために既存のオープン モデルを分解することが一般的であると考えています。そして、トレーニングには高価でリソースを大量に消費する方法に頼ります。さらに、コミュニティがオープン ソースを通じて貢献できる改善を行うことは困難です。
こちらもご覧ください: Red Hat が OpenShift をハイブリッド AI とクラウド向けに最適化
InstructLab では、こうした制限に対処する方法があるはずです。人間が生成した情報を少なく使用することで、大規模な言語モデルを強化します。また、モデルの再トレーニングに必要なリソースも以前より少なくなります。このアプローチにより、企業内の誰でも LLM を継続的に改善できるようになります。
Red Hat の大きな目標は、企業が定期的にモデルを再トレーニングできるようにサポートすることです。企業は InstructLab を使用して、独自のスキルと知識を持つ独自のプライベート LLM をトレーニングすることもできます。
これを実現するために、InstructLab には 3 つのコンポーネントが含まれています。まず、Red Hat がタクソノミー駆動型データ キュレーションと呼んでいるもの。これは、人間がキュレーションした多様なトレーニング データのセットです。データセットは、モデルの新しい知識とスキルの例として使用できます。
InstructLab の 2 番目のコンポーネントは、大規模な合成データ生成と呼ばれます。合成データという用語はまだあまり知られていませんが、これは AI によって生成されたデータです。モデルは、実際のビジネス状況からのトレーニング データに基づいて新しいサンプルを生成するために使用されます。その際に、InstructLab は、応答を洗練する自動ステップを追加することで品質を確保することを目指しています。これにより、モデルの応答の信頼性が大幅に向上します。
最後に、Red Hat は反復的で大規模なアライメント チューニングを InstructLab の一部にしました。このステップでは、合成データに基づいてモデルを再トレーニングします。このステップでは、モデルの知識とスキルが洗練されます。この 2 つは LLM にとって独立して重要です。たとえば、テキストに重点を置いたモデルでは、モデルが実際に適切なテキスト (スキル) を生成する前に、適切なテキストを生成する方法に関する知識が必要です。
InstructLab をもう少し詳しく見てみると、このプロジェクトが IBM と Red Hat の関係をよく表していることに気が付きます。実際、このプロジェクトでは IBM の Large-scale Alignment for chatBots (LAB) が使用されています。これは、LLM トレーニングのトレーニング フェーズにおけるスケーラビリティの課題に対処するために作成されたものです。また、IBM の基本モデルである Granite の拡張バージョンも採用されています。私たちの考えでは、これらのテクノロジの導入は、IBM が子会社の Red Hat を活用して、オープン ソース ルートを通じて有望なテクノロジをより広範なコミュニティに提供することに成功していることを示しています。Red Hat のオープン ソースのバックグラウンドが役立つのは、この点です。
そのため、Red Hat Summit での InstructLab に関する会話では、特にコミュニティが AI プロジェクトのさらなる開発において中心的な役割を果たすべきだということがわかりました。結局のところ、AI をめぐる多くの開発により、InstructLab に必要な機能は数か月で変わる可能性があります。しかし、Red Hat は特に、LLM の課題に対処するために、このプロジェクトを今すぐに開始したいと考えていました。
ヒント: Red Hat が AI 向けエンタープライズ Linux を「再構想」
このブログでは、Techzine が VMware による Broadcom の買収をめぐる最新の動向について報告しています。
サイバーセキュリティにおいて、人間はしばしば弱点と見なされます。世界中のあらゆるセキュリティツールがあっても…
ServiceNow の CEO である Bill McDermott 氏は、genAI の台頭は「iPhone の時代」よりも大きいと確信しています。同氏は次のように主張しています…
Noname Security は Akamai と売却の可能性について交渉中。API セキュリティ プレーヤーの Akamai への売却費用は 5 億ドルになる見込み…
企業は AI モデルを実験段階から実稼働環境へ移行することに熱心です。この共同作業により、…
管理者は、PuTTY SSH クライアントの脆弱性を手動で軽減する必要があります。Citrix は、攻撃者が情報を盗む可能性があると警告しています…
OpenAI は検索エンジン分野で Google に対抗したいと考えています。早ければ近いうちに AI 検索エンジンを導入する可能性があります…
Mistral AI は、新たな投資ラウンドで推定評価額 60 億ドル、6 億ドルを調達したいと考えています…
Dell Technologies がハッキング被害に遭いました。この過程で、約 49 人の個人データを含むデータベースがハッキングされました…
ASML の最新鋭チップ製造装置のうち 5 ～ 6 台が今年インテルに納入される予定。サムスンと SK Hynix は…
ServiceNow は本日、Microsoft とのパートナーシップを発表しました。彼らはコラボレーションについて語っていますが、私たちはそれをもっと… と見ています。
Techzine は、最新の IT ニュースや背景ストーリーを公開することで、IT プロフェッショナルやビジネス意思決定者に焦点を当てています。目標は、IT プロフェッショナルが新しい革新的な製品やサービスに精通できるようにするだけでなく、製品やサービスをより深く理解できるように詳細な情報を提供することです。
元記事: https://www.techzine.eu/blogs/analytics/119815/what-is-the-new-ai-project-red-hat-instructlab/