- Kioxiaは、AIスタック内のメモリをSSDで置き換えるKioxia AiSAQ製品に焦点を当てており、より大きなモデルを低コストで可能にすることを目指している。
- RAG（Retrieval Augmented Generation）は、LLMがデータにアクセスしてalucinateを減らし、重要な文脈を提供するという考えである。
- Kioxiaのアイデアは、ベクトルデータとインデックスを記憶装置に保存し、巨大なメモリプールの代わりに使用することでコストを削減できるというもの。
- データへのアクセスは、頻繁にCPU上で行われる近似最近傍操作（ANN）を使用している。
- SSDを使用することでコストを削減できるが、全てのデータをSSDに移動すると速度が遅くなる可能性がある。
- 高いスケールは高い品質や正確な結果をもたらす可能性があり、Kioxiaはこれを推進している。
この記事では、KioxiaがAIスタック内のメモリをSSDで置き換えることでコストを削減し、より大規模なモデルを扱えるようにする取り組みを紹介しています。SSDを使用することで速度が低下する可能性があるものの、コスト面でのメリットがあるとされています。AIの普及に伴い、RAGが重要な役割を果たすことが予想される中、Kioxiaの取り組みは注目されています。
元記事: https://www.servethehome.com/kioxia-aisaq-ssd-backed-rag-for-larger-scale-ai-models/