当サイトのリンクから購入された場合、アフィリエイト手数料が発生する場合があります。仕組みは次のとおりです。
Ahead of Monaka, Fujitsu uses Fugaku to train LLM.
富士通の富岳スーパーコンピュータは、トップ 500 スーパーコンピュータ リストの中ではもはや世界最速のマシンではありませんが、それでも非常に有能なシステムであり、A64FX プロセッサの汎用性により、AI などのさまざまなワークロードに使用できます。今週、富士通は、研究と商用アプリケーションの両方向けに設計された高度な日本語処理機能を備えた大規模言語モデルである富岳 LLM をリリースしました。
富士通の富岳-LLM は、さまざまな AI および従来のスーパーコンピュータ アプリケーション向けに FP64、FP32、FP16、INT8 モードをサポートする A64FX プロセッサをベースにした富岳スーパーコンピュータの 13,824 ノードで 3,800 億トークンを使用してトレーニングされました。富岳-LLM のトレーニングでは、当然のことながら、スーパーコンピュータのアーキテクチャと Tofu インターコネクト D に最適化された分散並列学習技術が活用されました。
富岳LLMは130億のパラメータを特徴としており、日本でこれまでに訓練されたLLMの中で最大のGPT-4の1750億と比べると見劣りする。富士通によると、130億パラメータのLLMは推論に膨大な計算リソースを必要とせず、日本の企業や研究者にとって最適だという。訓練データの約60％は日本語で、残りの40％は英語、数学、コードのデータだった。
この広範囲にわたる日本語中心のトレーニングは、主に英語のデータセットでトレーニングされた他の日本語モデルとは一線を画しています。その結果、富岳-LLMは日本語の優れた能力を誇り、日本語MT-Benchで平均スコア5.5を達成しました。これは、日本のオリジナルデータでトレーニングされた公開モデルの中で最高スコアです。富士通によると、特に人文科学と社会科学で優れており、9.18という印象的なベンチマークスコアを達成しています。
富岳-LLM イニシアチブは、東京工業大学、東北大学、富士通株式会社、理化学研究所、名古屋大学、サイバーエージェント、コトバテクノロジーズなど、日本を代表する研究機関の協力によって推進されてきました。協力の理由の 1 つは、AI モデルのトレーニングと推論に通常使用される GPU が不足していたことです。もう 1 つの理由は、このモデルが、AI と HPC の両方のワークロードに最適化された富士通の次世代 150 コア Monaka データセンター CPU で使用できることです。
Fugaku-LLMは現在、GitHubとHugging Faceから指定されたライセンス条件の下で学術目的と商用目的の両方で利用可能です（ただし、富士通はリンクを提供していません）。さらに、2024年5月10日からは富士通リサーチポータルでも提供される予定です。
25 年以上にわたり、PC 愛好家向けの技術ニュースの裏側を知るために Tom's Hardware を愛読している専門家の仲間に加わりましょう。CPU、GPU、AI、メーカー ハードウェアなどの最新ニュースや詳細なレビューを直接受信箱にお届けします。
Anton Shilov 氏は Tom's Hardware US のフリーランス ニュース ライターです。過去数十年にわたり、CPU や GPU からスーパーコンピューター、最新のプロセス テクノロジーや最新の製造ツールからハイテク業界のトレンドまで、あらゆる分野をカバーしてきました。
Open AIは、Google I/O 2024の1日前にAI搭載検索エンジンを発表し、Googleの注目を集める計画だと報道
コモドール64はAIを実行して画像を生成することができる。64ピクセルを生成するのに90回の反復ごとに20分かかる。
Innocn の 27G1S Plus 240 Hz IPS ゲーミングモニターをわずか 199 ドルで手に入れよう。これは驚くべき価値です。
Tom's Hardware は、国際的なメディア グループであり、大手デジタル パブリッシャーである Future US Inc の一員です。当社の企業サイトをご覧ください。
© Future US, Inc. 7 階、130 West 42nd Street、New York、NY 10036。
