- DeepSeek V3が2024年に注目を集め、45,499のダウンロードを記録。
- Databricksは1320億のパラメータを持つDBRXをリリースしたが、23のダウンロードにとどまる。
- Abu DhabiのTIIはFalcon-2-11BとFalcon-2-11B-VLMをリリースし、Falcon-2-11Bは高いベンチマーク性能を示す。
- Snowflakeは4800億のパラメータを持つArctic LLMをリリースし、2,000,000ドルで訓練された。
- Stability AIはStable LM 2シリーズを発表、1.6Bと12Bの2つのバリアントを提供。
- NVIDIAのNemotron-4-340B-Instructは合成データ生成とチャットアプリケーション向けに開発されたモデル。
- AI21 LabsのJambaはMambaベースのSSMとトランスフォーマーレイヤーを組み合わせたLLM。
- AMDはOLMoシリーズを導入し、OLMo 1Bモデルは1.2億のパラメータを搭載。
各企業が新しい言語モデルをリリースして競争しているが、成功するモデルと失敗するモデルがあります。成功したモデルはダウンロード数が多い一方、失敗したモデルは十分な注目を集められずにいます。ダウンロード数やベンチマーク性能など、各モデルの成績はリリース後の受け入れ状況に大きく影響しているようです。
元記事: https://analyticsindiamag.com/ai-trends/llms-that-failed-miserably-in-2024/