- Appleが新しいオープンソースのLLM、DCLM-Baseline 7Bをリリース
- モデルは、7 billionのパラメータを搭載
- 2.5 trillionのトークンを含むデータセットでトレーニング
- 主に英語データを使用し、2048トークンのコンテキストウィンドウを持つ
- 新モデルはDCLM-BASELINE、StarCoder、ProofPile2のデータを統合
- MMLUスコアは0.6372で、MistralとLlama3の間の性能
- Apple Sample Code Licenseの下でライセンスされ、Hugging FaceとTransformersで利用可能
- PyTorchとOpenLMフレームワークを使用してトレーニング
この記事は、Appleが新しいオープンソースのLLMモデルをリリースしたことを伝えています。モデルは7 billionのパラメータを持ち、2.5 trillionのトークンを使用してトレーニングされており、主に英語データを使用しています。また、DCLM-BASELINE、StarCoder、ProofPile2のデータを統合し、MistralとLlama3の性能の間に位置するMMLUスコアを達成しています。このモデルはApple Sample Code Licenseの下でライセンスされており、Hugging FaceとTransformersで利用可能です。