セキュリティ ブロガー ネットワークのホーム
ホーム » サイバーセキュリティ » クラウドセキュリティ » クラウドベースの AI モデルを狙った新たな LLMjacking 攻撃
生成 AI を採用しているのは企業だけではありません。サイバー犯罪者も同様です。彼らは、より説得力のあるフィッシング メールの作成、偽情報の拡散によるモデル汚染、プロンプト インジェクションやディープフェイクの作成など、攻撃を形作るために GenAI を使用しています。
サイバーセキュリティ企業Sysdigの脅威研究者は最近、盗んだ認証情報を使って大規模言語モデル（LLM）を標的とし、最終的にはそのアクセスを他のハッカーに販売することを目的とする悪意のある人物を発見した。LLMは、OpenAIが18か月前にChatGPTをリリースして以来、市場に出回っている無数の生成ツールの基礎となっている。
Sysdig のシニア脅威調査エンジニアである Alessandro Brucato 氏によると、侵害された LLM アカウントへのアクセスは、金銭や LLM トレーニング データを盗むなど、さまざまな目的で使用される可能性があるとのことです。
「最初のアクセスが取得されると、彼らはクラウドの認証情報を盗み出し、クラウド環境にアクセスし、クラウドプロバイダーがホストするローカル LLM モデルにアクセスしようとしました。この例では、Anthropic のローカル Claude (v2/v3) LLM モデルが標的になりました」と Brucato 氏はレポートに書いています。
盗まれたクラウド認証情報は、Web アプリケーションを作成するための無料のオープンソース PHP ベースの Web フレームワークである Lavarvel の脆弱なバージョンを通じて取得されました。脆弱な Laravel バージョンの欠陥は CVE-2021-3129 として追跡されており、重大な脅威スコアは 10 点満点中 9.8 点です。盗まれた認証情報は、クラウドでホストされている 10 の LLM サービスを標的にするために使用される可能性があります。
脅威アクターは、攻撃中にモデルを標的にできるリクエストを生成するツールを使用しました。Sysdig の研究者は、10 の AI サービスの認証情報をチェックして、どのサービスが攻撃者にとって有用であるかを確認できるスクリプトも発見しました。10 のサービスには、Anthropic、Amazon Web Services (AWS) Bedrock、Microsoft Azure、OpenAI、Google Cloud Platform Vertex AI、A121 Labs、ElevenLabs、MakerSuite、Mistral、OpenRouter が含まれています。
これらのサービスは、開発者が LLM を使用してモデルに簡単にアクセスできるように設計されており、開発者がすぐにアプリケーションの構築を開始できるように、シンプルなユーザー インターフェイスを備えています。ただし、クラウド ベンダーがモデルを実行するには、承認のためにモデルを送信する必要があります。とはいえ、通常はリクエスト後すぐにアクセスが許可されます。Brucato 氏はこれを「ブロックではなく、攻撃者にとってのスピード バンプであり、セキュリティ メカニズムと見なすべきではありません」と呼んでいます。
ホストされた言語モデルと対話するプロセスも、コマンドライン インターフェイス (CLI) コマンドを使用して簡単に行えます。
Sysdig の研究者は、侵害されたアカウントへのアクセスを提供するために使用されている LLM のリバース プロキシの使用も発見しました。特定の LLM をターゲットにするために資格情報が使用できるかどうかを確認するために悪意のある攻撃者が使用するチェック コードも、OAI リバース プロキシ オープン ソース プロジェクトを参照しています。
「このようなソフトウェアを使用すると、攻撃者は、基盤となる資格情報、またはこの場合は侵害された資格情報の基盤となるプールを公開せずに、複数の LLM アカウントへのアクセスを集中管理できます」と Brucato 氏は書いています。「侵害されたクラウド資格情報を使用した攻撃中に、OAI リバース プロキシに一致するユーザー エージェントが LLM モデルを使用しようとしているのが確認されました。」
クラウド環境に入ると、ハッカーたちは警告をトリガーせずに何ができるかを探るために、巧妙に探りを入れました。これには、ユーザーのアクションを記録する AWS サービスである Cloudtrail によって記録された、一見正当な InvokeModel API リクエストの使用も含まれていました。Brucato 氏は、「この巧妙な探りは、盗んだ認証情報によってクラウド アカウント内でどのようなアクションが許可されるかを解明するための計算されたアプローチを明らかにしています」と付け加えています。
また、サービスがどのように構成されているかを確認する作業も行いました。
「LLM ベースの人工知能 (AI) システムに対する攻撃は頻繁に議論されているが、そのほとんどはプロンプトの悪用とトレーニング データの改ざんに関するものだ」と Brucato 氏は書いている。「今回のケースでは、攻撃者はクラウド アカウント所有者が料金を支払い、LLM のアクセスを他のサイバー犯罪者に販売するつもりだ。… LLM の使用は安くはなく、コストがすぐに膨らむ可能性があることを知っても驚くには当たらない。」
研究者らは、悪意のある人物が Anthropic の Claude 2.x モデルを悪用し、複数の地域で割り当て制限に達した場合の「最悪のシナリオ」のコストを計算しました。この時点で、被害者は 1 日あたり 46,000 ドル以上の損害を被る可能性があります。
「割り当て制限を最大化することで、攻撃者は侵害を受けた組織がモデルを正当に使用することを阻止し、業務を妨害することもできる」と彼は書いている。
このような攻撃を防ぐには、強力な脆弱性管理を使用して初期アクセスを防止したり、シークレット管理を使用して資格情報が簡単に盗まれるような方法で保存されないようにするなど、さまざまな方法があります。組織は、クラウド セキュリティ ポスチャ管理 (CSPM) またはクラウド インフラストラクチャ エンタイトルメント管理 (CIEM) ツールを使用して、クラウド アカウントに必要な権限が最小限になるようにすることもできます。
ブルカート氏によると、このような保護は必要となるだろう。「盗まれたクラウドや SaaS の認証情報は、引き続き一般的な攻撃ベクトルです」と同氏は書いている。「攻撃者が新しいアクセスを利用して金銭を得る方法をすべて学習するにつれて、この傾向はますます広まるでしょう。LLM サービスの使用は、モデルとそれに供給されるトークンの量に応じて、高価になる可能性があります。」
通常、「開発者は効率化を図ろうとするが、残念ながら攻撃者には同じ動機がない」とブルカート氏は付け加えた。
Jeffrey Burt 氏は 30 年以上ジャーナリストとして活動しており、2000 年からテクノロジーに関する記事を執筆しています。eWEEK、The Next Platform、The Register、The New Stack、eSecurity Planet、Channel Insider など、さまざまなメディアに記事を寄稿しています。
jeffrey-burt は 289 件の投稿をしており、現在も投稿を数えています。jeffrey-burt のすべての投稿を見る
セキュア コーディング プラクティス ステップ 1/7 14% 組織では現在、ソフトウェア開発プロセスにセキュア ガードレールを実装していますか?(必須) はい、すべてのプロジェクトにわたって広範囲に実装しています はい、特定のプロジェクトまたはチームのみに実装中です いいえ、近い将来に実装する予定です いいえ、実装する予定はありません 開発プロセスにセキュア ガードレールを実装する際に直面する最大の課題は何ですか? (該当するものをすべて選択してください)(必須) 認識または理解の欠如 統合における技術的な問題 開発チームの抵抗 適切なツールの不足 コストの制約 その他 その他、詳細をお知らせください: プロジェクトのセキュリティ脆弱性を防ぐ上で、セキュア ガードレールはどの程度効果的だと思いますか? 1 (効果なし) から 5 (非常に効果的) のスケールで評価してください(必須) 1 2 3 4 5 セキュア ガードレールはどの程度自動化されていますか?( (重要度の高い順にランク付け)既存のワークフローへの統合のしやすさセキュリティ脆弱性の包括的なカバー特定のプロジェクトのニーズに合わせたカスタマイズ性開発速度への影響が最小限実用的な洞察と推奨事項幅広いプログラミング言語とフレームワークのサポート 今後 12 か月以内に、セキュア ガードレールの導入または強化に関して組織が計画していることは何ですか?(必須) セキュア ガードレールの使用をより多くのプロジェクトに拡大する 既存のセキュア ガードレールの機能を強化する 現在のセキュア ガードレールの使用レベルを変更せずに維持する セキュア ガードレールへの依存を減らす セキュア ガードレールに関連する計画はありません あなたの主な役割に最も近いものは何ですか?(必須) セキュリティ エンジニア DevOps エンジニア プラットフォーム エンジニア 開発チームのセキュリティ チャンピオン ソフトウェア開発者 CISO (または同等の役職) 上級管理職 (CEO、CTO、CIO、CPO、VP) マネージャー、ディレクター その他 Δ
元記事: https://securityboulevard.com/2024/05/novel-llmjacking-attacks-target-cloud-based-ai-models/