要約:
- Etched.aiは、AIチップスタートアップであり、SohuというAIチップを開発しており、大規模な言語モデル(LLMs)を支えるtransformerモデルをトレーニング、展開、最適化するために使用される。
- Etchedのアルゴリズム固有のASICチップは、従来のAIモデルを実行できないが、Sohuは従来のGPUよりも効率的であり、特定のtransformerモデルのみを実行する。
- Sohuは、Google、Meta、Microsoft、OpenAI、Anthropicなどの現在利用可能なモデルをサポートし、将来のモデルへの調整も可能であると主張している。
- Etchedは、SohuがNvidiaの新しいBlackwell GPUよりも「桁違いに高速で安価」であり、8チップのSohuサーバーが1秒あたり50万以上のLlama 70Bトークンを処理できると述べている。
- EtchedのCEOは、Sohuサーバーが160台のH100 GPUを置き換えると述べており、専用チップが汎用GPUよりも優れた性能を発揮する時代が来たと語っている。
感想:
Etched.aiのSohuチップの性能と目標は非常に興味深いです。専用のASICチップが一般的なGPUよりも効率的であり、特定のtransformerモデルに特化しているという点は革新的です。NvidiaのBlackwell GPUよりも性能が高いと主張する点も注目です。AIチップの競争は激しくなりそうで、今後の展開が楽しみです。