大規模言語モデル (LLM) をオープンソース化するのは簡単ではありません。AI と互換性のあるオープンソースの定義に 2 年近く取り組んでいる Open Source Initiative (OSI) に聞いてみてください。Meta などの一部の企業は、LLM をオープンソース化したと主張しています (実際にはそうではありません)。しかし、IBM が先に進んでそれを実行しました。
IBM は、GitHub Code Clean、Starcoder データ、公開コード リポジトリ、GitHub の問題など、公開されているデータセットからの事前トレーニング データを使用して、Granite コードのオープン ソース化を管理しました。つまり、IBM は著作権や法的問題を回避するために多大な努力を払ったのです。Granite Code Base モデルは、3 ～ 4 テラバイトのトークンのコード データと自然言語コード関連のデータセットでトレーニングされています。
また、オープンソースの生成AIモデルがGPT-4より一歩遅れている理由
これらのモデルはすべて、研究および商用利用のために Apache 2.0 ライセンスの下でライセンスされています。商用という最後の言葉が、他の主要な LLM がオープンソース化されない原因でした。他の誰も LLM の優れた機能を共有したがらなかったのです。
しかし、IBMリサーチの主任科学者であるルチル・プリ氏は、「私たちは、最高のパフォーマンスとコスト効率に優れたコードLLMをリリースすることで、ソフトウェアの生成AI環境を変革し、オープンコミュニティが制限なく革新できるようにしています」と述べています。
おそらく制限はないが、特定の用途を念頭に置いていないわけではない。
IBM エコシステム ゼネラル マネージャーの Kate Woolley 氏が昨年述べたように、Granite モデルは「すべての人にすべてを提供しようというものではありません。これは、自分の犬について詩を書くことではありません。これは、調整可能で、企業に使用してもらいたいビジネス ユース ケースに的を絞った、厳選されたモデルです。具体的には、プログラミング用です。」
これらのデコーダーのみのモデルは、116 のプログラミング言語のコードでトレーニングされており、パラメータは 30 億から 340 億に及びます。複雑なアプリケーションの最新化からデバイス上のメモリが制限されたタスクまで、開発者のさまざまな用途をサポートします。
IBM はすでに、IT 自動化のための WCA for Ansible Lightspeed や COBOL アプリケーションの最新化のための WCA for IBM Z など、IBM Watsonx Code Assistant (WCA) 製品でこれらの LLM を社内で使用しています。誰もが Watsonx を購入できるわけではありませんが、今では誰でも IBM と Red Hat の InstructLab を使用して Granite LLM を操作できます。
さらに: 最高の AI チャットボット: ChatGPT と代替品
Red Hat の SVP 兼最高製品責任者である Ashesh Badani 氏は、InstructLab は「限られたデータ サイエンス スキルから必要なリソースの多さまで、ハイブリッド クラウド全体で GenAI が直面する多くの障壁を下げる」と述べています。ポイントは、LLM を使用したい開発者のエントリー レベルを下げることです。
どれくらい安いのでしょうか? Matt Hicks 氏が Red Hat Summit で述べたように、「わずか 1 年前には高性能でかなり特殊なハードウェアで実行されていた機能が、今ではラップトップで実行できます。かつては数億ドルかかっていたトレーニング手法が、今では数千ドルで再現されています。」
たとえば、InstructLab のほかに、Ollma を使用して LLM をローカルで実行できます。Bala Priya C が KDnuggets で説明しているように、「Ollama を使用すると、モデルの重みやすべての構成など、LLM を実行するために必要なすべてが 1 つのモデルファイルにパッケージ化されます。LLM 用の Docker と考えてください。」モデルは、Hugging Face、GitHub、Watsonx.ai、Red Hat Enterprise Linux (RHEL) AI などのプラットフォームで利用できます。
IBM は、プログラマーが Granite LLM を使用してコードを書くだけでなく、これらの LLM を使用してテストを作成し、バグを見つけて修正することで、時間と労力を節約できると予想しています。「ユニット テストの生成からドキュメントの作成、脆弱性テストの実行まで、開発者の日常業務の一部である日常的だが重要なタスクの多くは、これらのモデルを使用して自動化できます。
また、AI21とDatabricksはオープンソースがAIを大幅にスリム化できることを示している
IBM は、開発者を支援することに加えて、Granite モデルがビジネス上のメリットをもたらすと考えています。他の多くのモデルとは異なり、ライセンスが明確で、モデルのトレーニング方法も明確だからです。さらに、データは、憎悪、虐待、下品な言葉が除去され、フィルタリングされています。
したがって、法的な理由から AI を使用したプログラム構築の検討を躊躇している企業にとって、IBM はソフトウェア開発作業の改善に必要なオープンソース ツールを提供しています。ぜひお試しください。Granite ブロックから素晴らしいものを構築する人もいるでしょう。
元記事: https://www.zdnet.com/article/ibm-open-sources-its-granite-ai-models-and-they-mean-business/