- AppleがDCLMモデルファミリーをHugging Faceで公開
- モデルには70億パラメータと14億パラメータの2つが含まれており、特に大きい方が優れた性能を示す
- データセットの作成においてモデルベースのフィルタリングが重要であることが示される
- 7BモデルはMMLUにおいて63.7%の5-shot精度を達成し、MMLUのパフォーマンスは先行するオープンモデルに近い
- 1.4BモデルもMMLU、Core、Extendedのテストで印象的なパフォーマンスを発揮
研究チームはデータキュレーションの効果を強調し、これらのモデルはAppleデバイス向けではなく、訓練データからのバイアスや有害な応答を示す可能性があることに留意する必要がある。
データキュレーションの重要性が強調された研究であり、AppleがDCLMモデルファミリーを公開したことは注目すべきです。特に7Bモデルは高い性能を示し、他のオープンモデルに匹敵する結果を残しています。さらなるデータキュレーションに関する研究の出発点となる成果であると言えます。