要約:
- AMDがOLMoブランドの初のオープンソース大規模言語モデル（LLM）を発表
- OLMoは1兆トークンを使用してAMD Instinct MI250 GPUsのクラスターでトレーニングされた10億パラメータのモデルのシリーズ
- AMDはオープンソースのアプローチを取り、AI技術の代替手段としてOLMoを位置付け
- OLMoは、科学、コーディング、数学などの能力を洗練するために複数のデータセットでSFTされ、DPOに最適化されたモデル
- AMDのOLMoモデルは、他のオープンソースモデルに比べて性能が向上し、会話テストでも優れた結果を示す
感想:
AMDのOLMoは、オープンソースの取り組みとハードウェアの向上が、競合他社の性能、効率、特化したAI機能に追いつくかどうかによって、AI業界で大きな進展を遂げる可能性があると感じます。