• Kinara Ara-2プロセッサーは、1秒あたり12トークンの速度で動作し、70億パラメータのLLMを実行可能
  • 新しいYouTubeビデオで、この先端AIプロセッサーの生成AI機能がデモンストレーションされている
  • Ara-2プロセッサーは、Kinara社の低消費電力、低コストAIプロセッサーであり、LLMなどの生成AIアプリケーションを効率的に実行できることを証明
  • LLMはデータプライバシーを確保し、インターネットアクセスの必要性を排除することによって遅延を減らすためにエッジで実行される必要がある
  • エッジでの生成AI処理により、ユーザーはパーソナルコンピューターの集積ハードウェアに一度だけのコストを支払い、高額なクラウド利用コストを回避できる

自然言語処理(NLP)の観点から、Qwenはユーザーがコンピューター上で日常的に実行するコマンドを処理するために使用できる。Qwenと他の生成AIチャットモデルは、マルチリンガルで正確であり、特定のテキストシーケンスに制限されない。Ara-2は、エッジサーバーにフィードされる16-32以上のビデオストリームを処理するのに非常に適しており、高解像度画像を素早くかつ高い精度で処理するために高度な計算エンジンを使用できる。KinaraのAIプロセッサー、モジュール、ソフトウェアは、小売、医療、工業4.0、自動車、スマートシティなどのさまざまな分野で、Generative AIおよびスマートアプリケーションを可能にする世界で最もパワー効率の良いエッジAI推論プラットフォームを提供している。

元記事: https://www.morningstar.com/news/business-wire/20240808164943/kinara-ara-2-processor-hits-12-tokens-per-second-running-7-billion-parameter-llms