- 富士通と日本の研究チームが、GPUを使用しない大規模言語モデルの訓練方法を探求している。
- このチームは、スーパーコンピュータ「富岳」を使用して、大規模言語モデル「Fugaku-LLM」を開発した。
- 「富岳」は神戸に設置されており、かつては世界で最も強力なスーパーコンピュータであったが、現在はインテルの「Frontier」にその座を譲っている。
- 「富岳」はGPUではなく、富士通のArmベースのCPU「A64FX」を使用しており、160,000以上のCPUと760万以上のコアを有している。
- Fugaku-LLMは、英語と日本語の両方を扱うことができるオープンソースのAIモデルで、主に日本語のテキストデータを使用して訓練された。
- このモデルは130億のパラメータを持ち、日本で広く使用されている70億パラメータのモデルよりも大きい。
- また、敬語を含む自然な対話を実行する能力があり、商用および非商用アプリケーションの開発に利用可能である。
- モデルは「Hugging Face」プラットフォーム上で利用でき、使用にあたっては利用規約に同意する必要がある。
- 「Samba-1」というSambaNovaの企業向けプラットフォームでも利用可能である。
【感想】
富岳を活用したこの研究は、GPUに依存しない新たな大規模AIモデルの訓練方法を提示しており、日本のAI技術の独自性と競争力を高める重要な一歩と言えるでしょう。特に、多言語処理能力と敬語対応は、日本独自のニーズに応える形でのAI技術の進化を示しています。今後もこのようなイノベーションが更に進むことに期待したいです。
元記事: https://aibusiness.com/nlp/japan-s-fugaku-supercomputer-powers-local-ai-model-training