- Pliops LightningAIはGPUサーバーのメモリティアとして機能し、大規模言語モデル（LLM）のレスポンスを2倍以上高速化できる。
- PliopsはイスラエルのサーバーCPUオフロードスタートアップで、XDP（Extreme Data Processor）キーバリューストア技術を開発し、FPGAで稼働するAccelKVソフトウェアを用いてRocksDBなどの低レベルストレージスタック処理を高速化している。
- XDP LightningAIは推論ワークロードに最適であり、複数階層の推論プロセスを実行するLLMが必要なデータをキャッシュし、中間レスポンスとデータ（アテンションステート）を置き換えることでLLM処理時間を短縮する。
- LLMは、高帯域幅メモリを備えたGPUサーバーで実行され、NoSQLおよびベクトルデータベースにアクセスし、多階層レスポンス中にメモリ容量に制約が生じるため、LightningAIはそのようなデータのための永続メモリティアとして機能し、GPUにHBM再読み込み時間のペナルティを回避させる。
この記事は、Pliops LightningAIが推論ワークロードにおいてLLM処理を高速化し、メモリ容量制約やパワー効率の向上に貢献する革新的な製品であることを示しています。Pliopsの技術は、既存のGPUからより多くの価値を引き出すための新しいAIツールとしてAI開発者に大きな助けを提供する可能性があると述べられています。
元記事: https://blocksandfiles.com/2024/10/02/pliops-xdp-lightningai/