• 富士通と日本の研究チームが、GPUを使用しない大規模言語モデルの訓練方法を探求している。
  • このチームは、スーパーコンピュータ「富岳」を使用して、大規模言語モデル「Fugaku-LLM」を開発した。
  • 「富岳」は神戸に設置されており、かつては世界で最も強力なスーパーコンピュータであったが、現在はインテルの「Frontier」にその座を譲っている。
  • 「富岳」はGPUではなく、富士通のArmベースのCPU「A64FX」を使用しており、160,000以上のCPUと760万以上のコアを有している。
  • Fugaku-LLMは、英語と日本語の両方を扱うことができるオープンソースのAIモデルで、主に日本語のテキストデータを使用して訓練された。
  • このモデルは130億のパラメータを持ち、日本で広く使用されている70億パラメータのモデルよりも大きい。
  • また、敬語を含む自然な対話を実行する能力があり、商用および非商用アプリケーションの開発に利用可能である。
  • モデルは「Hugging Face」プラットフォーム上で利用でき、使用にあたっては利用規約に同意する必要がある。
  • 「Samba-1」というSambaNovaの企業向けプラットフォームでも利用可能である。

【感想】

富岳を活用したこの研究は、GPUに依存しない新たな大規模AIモデルの訓練方法を提示しており、日本のAI技術の独自性と競争力を高める重要な一歩と言えるでしょう。特に、多言語処理能力と敬語対応は、日本独自のニーズに応える形でのAI技術の進化を示しています。今後もこのようなイノベーションが更に進むことに期待したいです。


元記事: https://aibusiness.com/nlp/japan-s-fugaku-supercomputer-powers-local-ai-model-training

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です

このサイトはスパムを低減するために Akismet を使っています。コメントデータの処理方法の詳細はこちらをご覧ください