- Hugging Faceが7月22日に報告したことによると、Hugging Faceは最近、複数の異なるパラメータを持つモデルを含むSmolLM小規模モデルシリーズを発売しました。
- SmolLMシリーズのモデルは、元のSmolLM-Corpusデータセットを使用してトレーニングされています。
- SmolLM-Corpusデータセットには、Python教育コンテンツPython-Edu、Web教育コンテンツFineWeb-Edu、およびMixtral-8x7B-Instruct-v0.1およびCosmopedia v2モデルを使用して生成された常識的なコンテンツが主に含まれており、総トークン数は6000億です。
- Hugging Faceチームは以降、SmolLM-Corpusデータセットを使用して「SmolLM」小規模言語モデルをトレーニングしています。
- SmolLMシリーズのモデルには、1億3500万、3億6000万、17億のパラメータを持つモデルが含まれており、主にPython言語を使用してコードを記述するために使用されています。
この記事では、Hugging Faceが新しいSmolLM小規模言語モデルシリーズを発売したことが報告されています。このシリーズのモデルはPython言語を使用してコードを書くために主に使用され、複数の異なるパラメータを持っています。また、トレーニングに使用されたデータセットやモデルの詳細も明らかにされています。