サイバーセキュリティ プロバイダーの Securiti は、生成型人工知能 (gen AI) システムとアプリケーションを取り巻く新たな脅威に対処するため、大規模言語モデル (LLM) 向けのファイアウォール製品である Securiti LLM Firewalls をリリースしました。
同社によれば、将来のアプリケーションはより会話的になるため、外部からの攻撃の試みを検出するためにインラインチェックのレイヤーが必要になるという。
「genAI の会話型の性質により、まったく新しいタイプの脅威や攻撃ベクトルが出現する可能性があり、Securiti LLM ファイアウォールはそれを防ぐように設計されています」と、Securiti の CEO である Rehan Jalil 氏は述べています。「社内または一般向けのプロンプト インターフェースは、企業データへの新しい経路です。」
Securiti は、エンタープライズ genAI アプリケーションに対するこの新たなリスクを特定した最初の企業ではありません。3 月に、Cloudflare は新しい Web アプリケーション ファイアウォール (WAF) 製品である Firewall for AI を通じて同様の機能を発表しました。
「Securiti LLM ファイアウォールは、保護対象のコンテキストを本質的に認識しています」と Jalil 氏は付け加えました。「genAI システムを保護するには、genAI システムが設計されているエンタープライズ データとユース ケースのコンテキストが、プロンプトの関連性、トピック、脱獄の試みを検査するのに役立ちます。」
Securiti の分散 LLM ファイアウォールは、ユーザー プロンプト、LLM 応答、ベクター データベースからの取得など、genAI アプリケーション ワークフローのさまざまな段階で展開できるように設計されており、プロンプト インジェクション、安全でない出力処理、機密データの漏洩、トレーニング データ ポイズニングなど、さまざまな LLM ベースの攻撃をインラインかつリアルタイムで検出して阻止できると同社は述べています。
最も一般的な LLM 攻撃の形式であるプロンプト インジェクションでは、フィルターをバイパスするか、LLM を操作して以前の指示を無視させ、意図しないアクションを実行させます。一方、トレーニング データ ポイズニングでは、LLM トレーニング データを操作して脆弱性、バックドア、バイアスを導入します。
「ファイアウォールはユーザープロンプトを監視し、潜在的な悪意のある使用を事前に特定して軽減します」とジャリル氏は言います。「時には、ユーザーが悪意を持って LLM の動作を無効にしようとすることがありますが、ファイアウォールはそのような試みをブロックします。また、プロンプトから機密データがあれば削除し、LLM モデルが保護された情報にアクセスしないようにします。」
さらに、このオファリングでは、モデルのトレーニング データ ソースの外部にある信頼できる知識ベースを参照する取得拡張生成 (RAG) プロセス中に取得されたデータを監視および制御するファイアウォールを導入し、取得されたデータにデータ ポイズニングや間接プロンプト インジェクションがないかチェックすると Jalil 氏は付け加えた。
genAI アプリケーションはまだ初期段階ですが、Enterprise Strategy Group (ESG) の主席アナリストである John Grady 氏は次のように語っています。「これらの脅威は重大です。genAI アプリが意図せず機密情報を提供する可能性があるという初期例をいくつか見てきました。重要なのはデータであり、アプリの背後に貴重な情報がある限り、攻撃者はそれを悪用しようとします。genAI 搭載アプリケーションの利用数が増え始め、セキュリティ面でのギャップが存在するようになると、このようなタイプの攻撃が実際に成功し始める段階にきていると思います。」
このサービスや同様のサービスは大きなギャップを埋めるものであり、genAI の利用が拡大するにつれてさらに重要になるだろうと Grady 氏は付け加えた。
AI コンプライアンスの有効化Securiti LLM ファイアウォールは、法律 (EU AI 法など) または社内で義務付けられたポリシー (NIST AI リスク管理フレームワーク、AI RMF に従うなど) に関係なく、企業がコンプライアンス目標を達成できるように支援することも目的としています。
ガートナーのAI信頼、リスク、セキュリティ管理（TRiSM）フレームワークに従って作業している組織も、主要コンポーネントにファイアウォールを使用できるようになるとSecuritiは述べた。
Securiti は、ファイアウォール製品とデータ コマンド センターの既存の機能を組み合わせることで、OWASP の最も重要な 10 個の大規模言語モデルの脆弱性リストのすべての側面をカバーし、脱獄、認証フィッシング、攻撃的および虐待的な言語の使用などの追加の LLM 脅威からの保護を拡張できると期待しています。
Securiti LLM ファイアウォールは、同社が今年初めに発表した総合的な「AI セキュリティおよびガバナンス」ソリューションの一部として現在利用可能です。
Shweta Sharma 氏は、IDG の CSO Online、Computerworld、およびその他のエンタープライズ サイトでエンタープライズ情報セキュリティとデジタル台帳テクノロジーを担当する上級ジャーナリストです。
