DeepSeek が 6710 億のパラメータを持つ新しい AI モデルをオープンソース化

12月 27, 2024

要約：

DeepSeekが新しい大規模言語モデルDeepSeek-V3をオープンソース化
DeepSeek-V3は6710億のパラメータを持ち、テキスト生成やソフトウェアコードの作成などのタスクを実行可能
モデルはMixture of Experts（MoE）アーキテクチャに基づいており、複数のニューラルネットワークを組み合わせたもの
MoEアーキテクチャはハードウェアコストを削減し、特定のニューラルネットワークのみをアクティブ化する
DeepSeek-V3は14.8兆トークンの情報で訓練され、他のオープンソースLLMと比較して高いスコアを獲得
DeepSeek-V3にはmultihead latent attentionやmultitoken predictionなどの最適化が実装されており、出力品質を向上

DeepSeek-V3は、MoEアーキテクチャと最適化技術を活用して、他のモデルを凌駕する高性能を実現している。特に、ハードウェアコストを削減しつつ出力品質を向上させる手法は非常に興味深い。また、他のオープンソースLLMとの比較で高得点を獲得している点も印象的である。