- SambaNova SystemsがAIチップ市場で地歩を築くためのクラウドサービス、SambaNova Cloudを発表
- SambaNova CloudはSN40L AIチップ上で動作し、MetaのLlama 3.1 AIモデルを利用可能
- SambaNovaはGPUよりも迅速なトークン生成を提供し、推論タスクにおいて優位性を持つ
- GroqとCerebrasも推論タスクを加速するサービスを提供し、SRAMを使用している
- SambaNovaはSRAM、HBM、DDR5の3つのメモリティアを使用し、トレーニングと推論の両方を実行
- SambaNova Cloudは開発者向けに405Bモデルを最初に提供し、高速なAIワークロードを実行
- AIチップ市場は拡大し、SambaNova、Cerebras、Groqなどの企業がNVIDIAなどの大手に対抗
Generative AI空間は急速に進化しており、推論タスクの重要性が高まっています。SambaNovaが、効率的で高速な推論を提供することで競争力を持つ一方、他の企業も同様のサービスを提供しています。AIチップ市場は急成長しており、これらの企業はNVIDIAなどの大手企業に対抗するために大規模な資金調達を行っています。
元記事: https://thenewstack.io/small-ai-chip-makers-eye-gains-in-inference-workloads/