• Kinara Ara-2プロセッサーは、1秒あたり12トークン実行し、70億パラメータLLMを処理
  • 低消費電力・低コストのAIプロセッサーKinara Ara-2は、LLMなどのGenerative AIアプリケーションを正確かつ効率的にエッジで実行
  • Generative AI処理をエッジで行うことで、データプライバシーを確保し、遅延を減らす
  • ユーザーは、PCに統合されたハードウェアの一度のコストのみを支払い、高額なクラウド利用料を回避
  • PCの機能性を向上させ、文書要約、音声文字起こし、翻訳などのタスクを実行できる

私の考え:
Generative AI処理をエッジで行うことのメリットは非常に大きいと考えられます。データプライバシーの確保やクラウド利用料の削減など、ユーザーにとって多くの利点があります。Kinara Ara-2プロセッサーの性能向上により、将来的にさらなる進化が期待されます。

元記事: https://www.morningstar.com/news/business-wire/20240808164943/kinara-ara-2-processor-hits-12-tokens-per-second-running-7-billion-parameter-llms