- LLM（Large language models）はますます強力で安価になり、文書検索や学術論文のアシスト、採用、脅威リサーチなど、さまざまなシステムで利用されている。
- LLMを利用したシステムはprompt injection攻撃に脆弱であり、ユーザーが新しい指示を与えることで予期せぬ行動を起こす可能性がある。
- job searchやrecruitmentなどのプロセスはAIによるテキスト処理に適しており、50%の採用担当者がAIが日常業務を軽減し、効率を向上させている。
- job seekersは自分の履歴書を強調するためにprompt injectionを使用しており、募集アルゴリズムを騙す試みは以前から存在している。
- prompt injectionは広告主や製品のランディングページ、スマートメールクライアントのユーザーに影響を与える攻撃手法としても使用されている。
- LLMベースのチャットボットに対する意見は賛否両論であり、広く利用されることで様々な問題が生じている。
- prompt injectionの概念は以前から存在していたが、LLMの普及に伴い、攻撃概念が広まり、ソーシャルメディアで話題となっている。
- 直接的なprompt injectionは破壊行為を伴わず、スパムメールや詐欺サイトでの悪用例は見当たらないが、採用分野で活発に使用されている。
- 将来のLLMベースのシステムを保護するためには、リスク評価が欠かせない。100%の保護は不可能であり、セキュリティ対策が必要である。
LLMを利用したシステムは便利でありながら、prompt injectionなどのセキュリティリスクにも直面しており、慎重な対策とリスク管理が重要である。
元記事: https://securelist.com/indirect-prompt-injection-in-the-wild/113295/