- 2024年2月、イギリスのサイバーセキュリティ企業であるMindgardがMicrosoftのAzure AI Content Safety Serviceに2つの重大な脆弱性を発見
- これらの脆弱性により、攻撃者はセーフガードをバイパスし、有害なAI生成コンテンツを解き放つ可能性がある
- 脆弱性は2024年3月にMicrosoftに責任を持って開示され、同年10月に会社が「より強力な緩和策」を導入
- Azure AI Content SafetyはAIアプリケーションに安全性とセキュリティのセーフガードを提供し、有害なコンテンツを検出・管理するMicrosoft Azureクラウドベースのサービス
- 脆弱性により、攻撃者はAIテキストモデレーションとプロンプトシールドのセーフガードを回避し、有害コンテンツを注入、モデルの応答を操作、または機密情報を危険にさらす可能性がある
- Mindgardの報告によると、攻撃者はキャラクターインジェクションとAdversarial Machine Learning（AML）の2つの攻撃技術を使用してセーフガードをバイパス
- キャラクターインジェクションは、特定のシンボルやシーケンスでキャラクターを注入または置換することにより、モデルをだます技術
- AMLは、モデルの予測を誤導するために入力データを操作する技術
- これらの技術により、AIテキストモデレーションの検出精度がそれぞれ最大100％、58.49％低下し、社会的な害を引き起こす可能性がある
- 組織は最新のセキュリティパッチを適用し、追加のセキュリティ対策を実施してAIアプリケーションをこれらの攻撃から保護することが重要
自分の考え：AIの進化と普及は素晴らしいが、そのセキュリティ面における脆弱性は深刻な懸念である。攻撃者がこれらの技術を悪用すると、重大な社会的被害をもたらす恐れがあるため、企業や研究者が積極的な対策を講じることが不可欠だと感じる。
元記事: https://hackread.com/azure-ai-vulnerabilities-bypass-moderation-safeguards/