- Hugging Faceが7月22日に報告したところによると、Hugging Faceは最近、複数の異なるパラメータを持つモデルを含むSmolLM小規模モデルのシリーズを発表しました。
- SmolLMシリーズのモデルは、元のSmolLM-Corpusデータセットを使用してトレーニングされています。
- このデータセットには、主にPython教育コンテンツPython-Edu、Web教育コンテンツFineWeb-Edu、およびMixtral-8x7B-Instruct-v0.1およびCosmopedia v2モデルを使用して生成された常識コンテンツが含まれており、合計トークン数は6000億です。
- Hugging Faceチームはその後、SmolLM-Corpusデータセットを使用して「SmolLM」小規模言語モデルをトレーニングしました。
- SmolLMシリーズのモデルには、1億3500万、3億6000万、17億のパラメータモデルが含まれており、主にPython言語を使用してコードを記述するために使用されます。
この記事によると、Hugging Faceは新しいSmolLM小規模モデルシリーズを発表しました。これらのモデルはPython言語を使用してコードを書くために設計されており、異なるパラメータを持つモデルが含まれています。データセットにはPython教育コンテンツやWeb教育コンテンツなど、合計6000億のトークンが含まれており、Hugging Faceチームがこれを使用してモデルをトレーニングしています。