- 上海のAI企業OpenCoderの研究チームが2.5兆トークンを使って事前訓練を行いました。
- 事前訓練にはコードデータの90%とコード関連ウェブデータの10%が使用されました。
- その後、450万の高品質な例を使用して微調整が行われました。
- OpenCoderの品質はGPT-4には遠く及ばず、Alibabaが開発したQwen2.5 72BモデルやMetaが開発したLlama 3.1 70Bモデルに完全に敗北しているとのコメントがあります。
- 幻覚の発生率も高いと報告されています。
- OpenCoderは他のモデルとは異なり、モデルの開発に必要な情報をすべて公開しています。
私の考え: モデルの性能に関係なく、すべての手順を公開することは誰にとっても利益になると思います。
元記事: https://gigazine.net/gsc_news/en/20241111-opencoder-llm/