- FuriosaAIがHot Chips 2024でAIアクセラレータRNGDを発表
- RNGDは、高性能大規模言語モデルおよびマルチモーダルモデルの推論のための最も効率的なデータセンターアクセラレータと位置付けられている
- RNGDの主な革新点には、Tensor Contraction Processor（TCP）ベースのアーキテクチャが含まれる
- RNGD PCIeカード1枚で、約100億のパラメータを持つモデルに対して1秒あたり2,000〜3,000トークンのスループット性能を提供
- RNGDは、効率、プログラマビリティ、パフォーマンスの完全なバランスを実現する
私の考え：FuriosaAIのRNGDは、効率的でプログラマブルかつ高性能なデータセンターアクセラレータであり、大規模な言語モデルやマルチモーダルモデルの推論において優れた成果を示しています。TCPベースのアーキテクチャやプログラマビリティの向上、効率性の向上など、革新的な要素が特徴です。GPT-JやLlama 3.1などの大規模言語モデルに対しても高い性能を発揮し、業界の実際のニーズに応える持続可能でアクセス可能なAIコンピューティングソリューションとなっています。