インフォセキュリティマガジン記者
インフラや国家安全保障などの機密性の高い分野で AI の使用が急増する中、カーネギーメロン大学のチームが AI セキュリティ対応の分野を開拓しています。
2023 年の夏、最初のコンピュータ緊急対応チーム (CERT) 発祥の地である大学のソフトウェア エンジニアリング研究所の研究者は、AI および機械学習 (ML) システムのインシデント対応戦術、手法、手順を定義し、コミュニティの対応活動を調整するための研究開発活動を主導する新しい組織を設立することが緊急に必要であると信じていました。
それからちょうど 6 か月後、Lauren McIlvenny 氏と Gregory Touhill 氏は、RSA Conference 2024 で世界初の AI セキュリティ インシデント対応チーム (AISIRT) の運営から学んだ教訓を共有しました。
AISIRT が立ち上げられたのは、McIlvenny 氏と Touhill 氏の研究データにより、AI を利用した攻撃と AI システムに対する攻撃が継続的に増加していることが示されたためです。
「現在、AI関連のシステムや技術が標的となっている活動が数多く発生し続けている」とトゥーヒル氏は述べた。
2人は、AIチャットボットや大規模言語モデル（LLM）システムなどの生成AIツールにもたらされる数多くの脅威、およびAIモデルを動かすエンジンであるグラフィックス・プロセッシング・ユニット（GPU）カーネルを標的とした攻撃について言及した。これらのエンジンの実装はメモリリークの影響を受けやすく、機密情報にアクセスされる可能性がある。
AISIRT は、カーネギーメロン大学と CERT 部門のパートナー ネットワークの共同作業により開発されました。
2023年8月に初めて立ち上げられてから部分的に運用され、2023年10月から完全に運用されています。防衛および国家安全保障組織が関心を持ち、使用しているAIシステムの「脆弱性」を特定、理解、軽減することに重点を置いています。
この文脈で、マキルヴェニー氏は「脆弱性」には、従来のソフトウェアの脆弱性、敵対的機械学習の弱点、サイバーAIの共同攻撃につながる欠陥が含まれると説明した。
AISIRT は、サイバー インシデント対応の既存の交戦規則を活用し、その構造は従来のコンピューター セキュリティ インシデント対応チーム (CSIRT) にヒントを得ています。
これは、AI インシデント対応要素、AI 脆弱性検出ツールセット、AI 脆弱性管理フレームワーク、AI 状況認識サービスの 4 つの主要コンポーネントで構成されています。
AISIRT には、次のようなさまざまな関係者が関与しています。
将来的には、McIlvenny 氏と Touhill 氏は、AISIRT が防衛および国家安全保障組織向けの AI に関するベストプラクティス、標準、ガイドラインを更新および共有するためのハブになると考えていると述べました。
彼らは、学界、産業界、防衛および国家安全保障組織、さらには立法機関にわたる AI 実践コミュニティを設立することを計画しています。
「AISIRT 構造でここで示しているものの少なくとも 20% は、将来的に進化する必要があるだろう」と McIlvenny 氏は見積もっています。
McIlvenny 氏と Touhill 氏は、AISIRT を 6 か月以上運営して学んだ教訓をいくつか共有しました。その内容は次のとおりです。
しかし、彼らは、AISIRT、そしてAIセキュリティ全体がまだ初期段階にあり、AIを使用する組織やAIの脅威から身を守ろうとする関係者には、次のような無数の未解決の疑問が残っていると主張しました。
「AI セキュリティに関する質問の数が、回答の数をはるかに上回っている段階です。ぜひ、AI の使用とセキュリティ保護に関する経験をお聞かせください」と Touhill 氏は結論付けました。
元記事: https://www.infosecurity-magazine.com/news/worlds-first-ai-security-incident/