AIテクノロジーと業界レビュー
56 テンペランス ストリート、#700 トロント、ON M5H 3V5
IBM の研究チームが Granite Code モデル ファミリーを発表しました。エンタープライズ ソフトウェア開発ワークフロー向けに特別に最適化されたこれらのモデルは、さまざまなコーディング タスクで優れた性能を発揮し、さまざまなコーディング課題に適した汎用性を備えています。
近年、コードを生成および操作できる大規模言語モデル (LLM) が目覚ましい進歩を遂げており、優れたコーディング機能を備えたさまざまなモデルが登場しています。しかし、特にエンタープライズ ソフトウェア開発に関しては、コード向けにカスタマイズされた LLM の領域には依然として大きなギャップが残っています。
IBM の研究チームは、新しい論文「Granite Code Models: A Family of Open Foundation Models for Code Intelligence」で、Granite Code モデル ファミリーを紹介しています。エンタープライズ ソフトウェア開発ワークフローに特化して最適化されたこれらのモデルは、さまざまなコーディング タスクで優れた性能を発揮し、多用途で多様なコーディング課題に適しています。
コード生成タスク向けのデコーダーのみのコード モデルで構成される Granite Code モデル ファミリは、4 つの異なるサイズ (3B、8B、20B、34B) にわたる 2 つの主要なバリアントを誇ります。
ベースモデルは、2 段階の戦略による包括的なトレーニングを受けます。まず、フェーズ 1 では、モデルは 116 のプログラミング言語から取得した 3 ～ 4 兆個のトークンを取り込み、言語の構文と構造を細かく把握します。その後、フェーズ 2 では、コードと自然言語の両方の領域にまたがる、綿密にキュレーションされたデータセットから抽出した 5,000 億個のトークンにさらすことで、モデルの機能をさらに向上させます。
前述の基本モデルから派生した命令モデルは、さらに微調整されます。このプロセスでは、CommitPack の改良版と、自然言語命令の追跡を特徴とするデータセット (OASST や HelpSteer など) およびオープンソースの数学データセット (MathInstruct や MetaMathQA など) を組み合わせて活用します。合成生成されたコード データセットは、命令の追跡と推論能力を強化する上で重要な役割を果たします。
実証的調査では、チームは包括的な一連のベンチマークにわたってコード LLM の広範な評価を実施しています。結果は、Granite Code モデルのあらゆるモデル サイズとベンチマークにわたる堅牢なパフォーマンスを示しており、多くの場合、その 2 倍のサイズの他のオープン ソース コード モデルをも上回っています。
要約すると、Granite Code モデルの主な強みは次のとおりです。
今後、チームはこれらのモデルのパフォーマンスを継続的に向上させることに注力しています。将来の計画には、ロングコンテキストのバリアントや、Python および Java 環境向けにカスタマイズされた特殊なモデルのリリースが含まれています。
コードはプロジェクトの GitHub で入手できます。論文「Granite Code Models: A Family of Open Foundation Models for Code Intelligence」は arXiv にあります。
著者: Hecate He | 編集者: Chain Zhang
ニュースや研究の進歩を見逃したくないのはわかっています。毎週の AI アップデートを受け取るには、当社の人気ニュースレター Synced Global AI Weekly を購読してください。
機械知能 | テクノロジーと産業 | 情報と分析
あなたのメールアドレスは公開されません。必須項目は*でマークされています
フォローアップのコメントをメールで通知します。
新しい投稿をメールで通知します。
電子メールアドレス
購読する
56 テンペランス ストリート、#700 トロント、ON M5H 3V5
ワン ブロードウェイ、14 階、ケンブリッジ、MA 02142
75 E サンタクララ ストリート、6 階、サンノゼ、カリフォルニア州 95113
お問い合わせ先：global.general@jiqizhixin.com