技術記事要約:
- OpenAIがGPT-4o miniをリリースし、GPT-40より30倍、GPT-3.5 Turboより60%安い
- Mistral AIがMistral NeMoをリリースし、12 billion parameterのモデルで多言語に対応
- Hugging FaceがSmolLMとして3つのサイズのコンパクトな言語モデルをリリース
- H2O.aiがH2O-Danube3を導入し、モバイルデバイス向けにAI機能を提供
- AppleがDCLM-BASELINE 7Bをリリースし、英語データを主に使用
感想:
小規模言語モデルの時代が始まったという記事です。各企業がコンパクトなモデルをリリースし、AIの応用拡大や費用効率の向上に注力しています。特に、将来的には汎用モデルと専門モデルが共存し、より効率的で低コストなモデルが普及するとの見通しも示されています。AIの発展がさらに加速する興味深い展開です。
元記事: https://startupnews.fyi/2024/07/21/llm-model-size-competition-is-intensifying-backwards/