大規模言語モデルは安全なソフトウェア開発ライフサイクルを強化すると期待されているが、意図しないリスクもあると、CISO は RSAC で警告している。
大規模言語モデル (LLM) への迅速なインジェクション エンジニアリングの増加は、組織にとって重大なリスクとなる可能性があります。これは、月曜日の CISO 円卓会議で議論された AI の予期せぬ結果です。このパネルは、今週サンフランシスコで開催された RSA カンファレンスのイベント、Purple Book Community Connect–RSAC で開催されました。
3 人のパネリストのうちの 1 人、アプリケーション セキュリティ運用プラットフォーム プロバイダーである ArmorCode の CISO、Karthik Swarnam 氏は、コードへの即時インジェクションによって発生するインシデントは避けられないと考えています。「まだそのような事態は起きていませんが、いずれ起こると想定する必要があります」と Swarnam 氏は Dark Reading に語っています。
悪意のあるプロンプトでトレーニングされた LLM は、通常はそれほど敵対的ではない手法であるソーシャル エンジニアリング メッセージを含むテキスト アラートを継続的にプッシュするコードをトリガーできます。ユーザーが無意識のうちにアラートに応答すると、LLM は不正なデータ共有などの悪質なアクションをトリガーする可能性があります。
「プロンプトエンジニアリングは、企業がもっと検討し、投資すべき分野です」とスワーナム氏は言う。「企業は、プロンプトエンジニアリングの基本的な部分を人々に教育し、適切な使用方法を理解させる必要があります。そうすれば、良い結果が得られるでしょう。」
クローガーやAT&Tなど、いくつかの大企業でCISOを務めた経験を持つスワーナム氏は、AIの使用に伴うリスクに対する懸念があるにもかかわらず、ほとんどの大企業は顧客サービスやマーケティングなどの業務にAIを採用し始めていると語る。AIを禁止したり、使用していないと主張している企業でさえ、おそらく「シャドーAI」とも呼ばれる極秘の使用については知らないだろう。
「ネットワーク ログとファイアウォール ログを調べるだけで、誰かがサードパーティの LLM またはパブリック LLM にアクセスしてあらゆる種類の検索を行っていることがわかります」とスワーナムは言います。「これにより、多くの情報が明らかになります。企業やセキュリティ チームは世間知らずではないので、[AI の使用に対して]「ノー」と言うのではなく、「イエス」と言って境界を設定していることに気づいています。」
多くの企業が AI を採用している分野のひとつが、インシデント対応と脅威分析です。「セキュリティ情報とイベント管理は、こうしたものの使用によって確実に変化しています」とスワーナム氏は言います。「実際、レベル 1 でのトリアージが不要になり、多くの場合、レベル 2 でもトリアージが不要になります。」
アプリケーション開発ツールで AI を使用する場合、CISO と CIO は、組織の能力とリスク許容度に基づいて、どのようなタイプのコーディング支援が組織にとって実用的であるかを判断する必要がある、と Swarnam 氏は警告します。「また、テストの側面を無視しないでください」と同氏は付け加えます。
リーダーは、組織が失敗している箇所を常に追跡し、トレーニングでそれを強化することも重要です。「リーダーは、必要なこと、間違いを犯している箇所に焦点を合わせる必要があります。開発作業やソフトウェア開発を行う際、リーダーは常に課題に直面しています」とスワーナム氏は言います。
ジェフリー・シュワルツ、寄稿ライター
ジェフリー・シュワルツは、情報セキュリティと、クライアント コンピューティング、データ センターとクラウド インフラストラクチャ、アプリケーション開発など、あらゆる形態のビジネスおよびエンタープライズ IT を 30 年以上にわたって取材してきたジャーナリストです。ジェフは Channel Futures の定期寄稿者です。以前は、Redmond 誌の編集長を務め、姉妹誌の Redmond Channel Partner、Application Development Trends、Virtualization Review に寄稿していました。それ以前は、CommunicationsWeek、InternetWeek、VARBusiness で編集職を務めていました。ジェフはニューヨーク市郊外のロングアイランドを拠点としています。
2024 年 AppSec の現状レポートの主な調査結果
AI はネットワークへの脅威を識別していますか?
脅威インテリジェンスが企業のセキュリティ戦略に意味を持つ理由と場所
政治キャンペーンの保護: 大量フィッシング攻撃からの防御
効果的な資産管理が企業のサイバーセキュリティにとって重要な理由
Black Hat USA – 8月3日～8日 – 詳細はこちら
サイバーセキュリティの最新テクノロジー: 知っておくべきこと
Elastic、Forrester Wave™: セキュリティ分析プラットフォーム、2022年第4四半期でリーダーに選出
EMA: 指先で操作できる AI: Elastic AI Assistant がサイバーセキュリティを簡素化する方法
デジタル化時代の産業ネットワーク
データ保護によるゼロトラストの導入
暗闇に光を当てる: 可観測性とセキュリティ、SANS プロファイル
Elastic、Forrester Wave™: セキュリティ分析プラットフォーム、2022年第4四半期でリーダーに選出
EMA: 指先で操作できる AI: Elastic AI Assistant がサイバーセキュリティを簡素化する方法
クラウド セキュリティの未来: 攻撃パスとグラフベースのテクノロジー
今日の脅威アクターを理解する
Black Hat USA – 8月3日～8日 – 詳細はこちら
サイバーセキュリティの最新テクノロジー: 知っておくべきこと
Copyright © 2024 Informa PLC Informa UK Limited は、イングランドおよびウェールズに登録された会社であり、会社番号は 1072954、登録事務所は 5 Howick Place, London, SW1P 1WG です。
