- DeepSeekがモデルの第3バージョンをオープンソース製品としてリリース
- モデルには6710億のパラメータが含まれており、回答時にすべてを同時に展開しない
- DeepSeek-V3は、Llama 3.1 405BやQwen2.5 72Bを上回る性能を持ち、特にコーディングタスクや数学計算で優れている
- モデルはMoE（Mixture of Experts）アーキテクチャに基づいており、エネルギー効率を向上させている
- DeepSeekは不均一なデータ分布に対処する方法を開発し、質問への回答の品質向上を図っている
- DeepSeek-V3は、複数のトークンを同時に生成するトリックを展開し、より高速な推論を実現
- 新バージョンは、DeepSeek-V2と同じ価格で提供されるが、2月8日以降に価格が変更予定
考察: DeepSeek-V3は、MoEアーキテクチャを活用してエネルギー効率を向上させ、不均一なデータ分布に対処する手法を導入している。さらに、複数のトークンを同時に生成することで高速な推論を可能にしている。価格の変更が予定されており、市場価値を維持しつつ、革新的な機能を提供している点が注目される。