- Microsoftは、大規模言語モデル（LLM）を統合したメールクライアントをハッキングし、最新のプロンプトインジェクション攻撃への防御を試す研究チームを招待している。
- LLMail-Injectコンペティションは、リアルな環境で「最先端のプロンプトインジェクション防御」を評価する。
- プロンプトインジェクション攻撃では、モデルの振る舞いを予期せぬ方法で変更する特定のプロンプトが作成される。
- 攻撃は、機密情報の漏洩、不正またはバイアスのある出力、LLM機能への不正アクセス、接続されたシステムでの任意のコマンドの実行、意思決定プロセスの操作などの問題を引き起こす可能性がある。
- Microsoftのコンペでは、40のレベルがあり、各レベルには異なるRAG構成、LLM、特定の防御メカニズムが含まれる。
プロンプトインジェクション攻撃に対する防御技術の重要性が強調されており、Microsoftがその防御技術を実際の環境でテストする競技会を主催していることが明らかになっています。攻撃が成功すると機密情報の漏洩や不正アクセスなどの深刻な問題が生じる可能性があるため、このようなセキュリティ上の脅威に対処するための研究と対策が重要であると感じました。