• AMDが新しいモデルをリリース
  • AMD-135MはLlamaファミリーに属し、プライベートビジネス展開を目指す
  • AMDのモデルは高速である理由は、予測デコーディングを使用しているため
  • AMDの新リリースには、AMD-Llama-135MとAMD-Llama-135M-codeの2つのバージョンがあり、それぞれ特定のタスクを最適化
  • AMDはさらなる最適化によってさらなるパフォーマンス向上が期待されている

AMDがAIゲームで力を示す中、新しいモデルを導入し、Nvidiaがすでに支配していない新しい市場セグメントを狙っている。AMDは、予測デコーディング技術を使用して推論パフォーマンスを加速するために、特定のタスクを最適化する2つのバージョンをリリースしました。今後の最適化に期待が寄せられる一方で、前世代GPUのベンチマーク数値を共有しているAMDの現行世代(MI300X)や次世代(MI325X)の可能性について想像するのみです。

元記事: https://www.tomshardware.com/tech-industry/artificial-intelligence/amd-unveils-its-first-small-language-model-amd-135m-ai-performance-enhanced-by-speculative-decoding