ベンジ・エドワーズ – 2024 年 5 月 6 日午後 7 時 51 分 UTC
The Information の報道によると、Microsoft は MAI-1 と呼ばれる新しい大規模 AI 言語モデルに取り組んでおり、これは Google、Anthropic、OpenAI の最先端モデルに匹敵する可能性があるという。Microsoft が OpenAI に 100 億ドル以上を投資してこのスタートアップの AI モデルを再利用する権利を得て以来、これほど大規模な AI モデルを自社開発するのはこれが初めてだ。OpenAI の GPT-4 は ChatGPT だけでなく Microsoft Copilot にも使われている。
MAI-1 の開発は、元 Google AI リーダーで、最近まで AI スタートアップ Inflection の CEO を務めていた Mustafa Suleyman 氏が主導している。同氏は 3 月に Microsoft が 6 億 5,000 万ドルでこのスタートアップのスタッフと知的財産の大部分を買収した。MAI-1 は元 Inflection スタッフが持ち込んだ技術を基に構築されている可能性があるが、プロジェクトに詳しい 2 人の Microsoft 社員が確認したところによると、これはまったく新しい大規模言語モデル (LLM) だという。
約 5,000 億のパラメータを持つ MAI-1 は、Microsoft の以前のオープンソース モデル (先月取り上げた Phi-3 など) よりも大幅に大きくなり、より多くの計算能力とトレーニング データが必要になります。これにより、MAI-1 は、1 兆を超えるパラメータ (専門家混合構成) を持つと噂されている OpenAI の GPT-4 と同レベルになり、Meta や Mistral の 700 億のパラメータ モデルなどのより小規模なモデルをはるかに上回ると報じられています。
MAI-1 の開発は、マイクロソフト社内で AI に対する二重のアプローチが取られていることを示唆している。モバイル デバイス用の小規模なローカル言語モデルと、クラウドで稼働する大規模で最先端のモデルの両方に重点が置かれている。Apple も同様のアプローチを検討していると報じられている。また、これは同社が OpenAI とは独立して AI 開発を模索する意欲があることも示している。OpenAI の技術は現在、Windows に組み込まれたチャットボットなど、マイクロソフトの最も野心的な生成 AI 機能の基盤となっている。
伝えられるところによると、MAI-1 の正確な目的は (Microsoft 内でも) 決まっておらず、その最適な使用法はそのパフォーマンスによって決まる、と The Information の情報源の 1 人から聞きました。Microsoft は、このモデルをトレーニングするために、Nvidia GPU を搭載した大規模なサーバー クラスターを割り当て、OpenAI の GPT-4 によって生成されたテキストや公開インターネット データなど、さまざまなソースからトレーニング データを収集しています。
The Information は、今後数週間の進捗状況次第では、Microsoft が早ければ今月下旬に開催される Build 開発者会議で MAI-1 をプレビューする可能性があると、同誌が引用した情報源の 1 つから報じられている。
Ars Orbital Transmission メーリングリストに参加して、毎週の最新情報をメールで受け取りましょう。登録する →