- セキュリティ研究者によると、SQLデータベースとやり取りするAIを展開するソフトウェアツールには、CVSS 10の重大な脆弱性がある。
- Vanna.AIは、自然言語を使ってユーザーがデータベースに質問できるようにする開発者向けのPythonベースのRAGフレームワークである。
- 脆弱性はCVE-2024-5565に割り当てられており、悪意のあるコードをLLMプロンプトに挿入する特殊な質問を作成できる。
- ライブラリのメンテナーは、強化ガイドを追加した。
- Vanna AIのメンテナーは、安全なデータベースユーザーを使用することを推奨している。
- セキュリティ意識を持つ人々にとっては当たり前のガイダンスだが、開発者の多くにはそうでない。
この記事は、AIツールチェーンがまだ未熟であり、このような重大なセキュリティ問題が発生していることから、開発者が生成AIアプリケーションのアイデアを出しても、実際にはまだ何も実行されていない理由の一部を示唆している。セキュリティ対応が不十分なままGenAI/LLMsが広く使用されるリスクが、組織にとって深刻な影響をもたらす可能性があることを示している。
元記事: https://www.thestack.technology/cvss-10-bug-in-llm-to-sql-library-makes-prompt-injection-fun/