2024年5月6日 18:06 EDT更新
マリア・ドイチャー
マイクロソフト社は約5000億のパラメータを持つ大規模な言語モデルを開発していると、The Informationが本日報じた。
社内ではMAI-1と呼ばれているLLMは、早ければ今月にもデビューする予定だ。
OpenAIが2020年半ばにGPT-3を発表したとき、モデルの初期バージョンには1750億のパラメータがあったと詳述した。同社はGPT-4の方が大きいことを明らかにしたが、具体的な数字はまだ公表していない。一部の報告によると、OpenAIの主力LLMには1兆7600億のパラメータが含まれており、GPT-4と同等の性能を持つGoogle LLCのGemini Ultraには1兆6000億のパラメータが含まれているとされている。
Microsoft の MAI-1 は 5,000 億のパラメータで構成されていると報告されており、これは GPT-3 と ChatGPT-4 の中間的な選択肢として位置付けられる可能性があることを示唆しています。このような構成により、モデルは高い応答精度を実現しながらも、OpenAI の主力製品である LLM よりも大幅に少ない電力で済みます。これは、Microsoft にとって推論コストの削減につながります。
The Informationによると、MAI-1の開発は、LLM開発会社Inflection AI Inc.の創業者ムスタファ・スレイマン氏が監督している。スレイマン氏は3月に、6億2500万ドルと報じられる取引を通じて、スタートアップ企業の従業員の大半とともにマイクロソフトに入社した。同氏は以前、Google LLCのDeepMind AI研究グループの共同創業者でもある。
マイクロソフトは、MAI-1 の強化に Inflection AI のトレーニング データとその他の特定の資産を使用する可能性があると報じられている。このモデルのトレーニング データセットには、GPT-4 によって生成されたテキストや Web コンテンツなどの情報も含まれると言われている。マイクロソフトは、Nvidia Corp. のグラフィック カードを搭載した「大規模なサーバー クラスター」を使用して開発プロセスを実行していると報じられている。
The Information の情報筋によると、同社は MAI-1 をどのように使用するかまだ決めていないという。このモデルが実際に 5000 億のパラメータを備えているとしたら、消費者向けデバイスで実行するには複雑すぎる。つまり、Microsoft は MAI-1 を自社のデータ センターに導入し、LLM を Bing や Azure などのサービスに統合する可能性が高いということだ。
同社は、5月16日に開始されるBuild開発者会議で、その時点でこのモデルが十分な可能性を示している場合、MAI-1を発表する可能性があると考えられています。これは、同社がまだ持っていないとしても、数週間以内にモデルの実用的なプロトタイプが完成すると予想していることを示唆しています。
Microsoft が MAI-1 を開発中というニュースは、同社が Pi-3 Mini という言語モデルをオープンソース化してから 2 週間も経たないうちに発表された。同社によれば、後者のモデルは 38 億のパラメータを備え、その 10 倍以上のサイズの LLM よりも優れたパフォーマンスを発揮できるという。Pi-3 は、パフォーマンスがわずかに優れている 2 つの他のより大規模なニューラル ネットワークも含む AI シリーズの一部である。
レッドハット、テクノロジー業界のエコシステムを活用してAI開発を加速
Red Hat は OpenShift、RHEL、および多数の開発者ツールに生成 AI を統合します
Paxafe、AI駆動型コールドチェーン物流業務強化のため900万ドルを調達
Cloudflare、新しいUnified Risk Postureスイートでサイバーセキュリティのサービスを強化
Sentra は DataTreks を導入し、オンプレミス サポートを拡張してエンタープライズ データ セキュリティを強化します。
Sprinklr が機能別 AI ボットを追加し、顧客調査市場に参入
レッドハット、テクノロジー業界のエコシステムを活用してAI開発を加速
AI – マイク・ウィートリー著 47分前
Red Hat は OpenShift、RHEL、および多数の開発者ツールに生成 AI を統合します
AI – マイク・ホイートリー著 47分前
Paxafe、AI駆動型コールドチェーン物流業務強化のため900万ドルを調達
AI – ダンカン・ライリー著 2時間前
Cloudflare、新しいUnified Risk Postureスイートでサイバーセキュリティのサービスを強化
セキュリティ – ダンカン・ライリー著 2時間前
Sentra は DataTreks を導入し、オンプレミス サポートを拡張してエンタープライズ データ セキュリティを強化します。
セキュリティ – ダンカン・ライリー著 2時間前
Sprinklr が機能別 AI ボットを追加し、顧客調査市場に参入
AI – ポール・ギリン著 3時間前
無料コンテンツがお好きですか? フォローするには購読してください。
元記事: https://siliconangle.com/2024/05/06/microsoft-reportedly-developing-mai-1-llm-500b-parameters/