- AI startup Prime Intellectは、10兆パラメータの言語モデルを分散アプローチで訓練
- Intellect-1は、分散アプローチで訓練された最初の巨大言語モデルであり、オープンソース化予定
- プロジェクトの目的は、小規模組織も大規模AIモデルを構築可能であり、誰もが透明性のある自由に利用可能なAIシステムを作成できることを示すこと
- Prime Intellectは、DiLoCoのオープンソース版であるOpenDiLoCoを使用
- Intellect-1は10兆のトークンを訓練データとして使用し、より大規模なオープンソースモデルにスケーリングする予定
- Prime Intellectは、分散トレーニングを進めており、協力とコンピューティングリソースの支援を求めている
Prime Intellectは、分散アプローチを進展させ、AI開発をよりアクセス可能にするという点で前進しています。しかし、10兆のパラメータは現在の基準では比較的小さく、大規模な商用AIモデルやさらに小さなオープンソースモデルとは一致しない可能性があります。Prime Intellectがこのアプローチを概念実証から意味のあるAI開発の進展へと引き上げられるかどうかが主な問題です。