大規模言語モデル (LLM) の進歩により、サイバーセキュリティとソーシャル エンジニアリング詐欺師の間で軍拡競争が激化しています。2024 年にはどのように展開するのでしょうか。
企業にとって、生成型 AI は災いであり、またチャンスでもあります。企業がこの技術の導入を競うなか、まったく新しいサイバーリスクも引き受けています。常に取り残されるのではないかという不安も、状況を悪化させています。しかし、サイバー犯罪者が狙っているのは AI モデルだけではありません。偽造が当たり前の時代において、サイバー犯罪者は AI を使用して、驚くほど説得力のあるソーシャル エンジニアリング攻撃を仕掛けたり、大規模な誤報を生成したりしています。
生成型 AI が創造的および分析的プロセスを支援する可能性は疑いようがないが、そのリスクは明確ではない。結局のところ、この技術を使用して作成されたフィッシング メールは、タイプミスや文法エラーだらけのものよりも説得力がある。画像合成装置で作成されたプロフィール画像は、本物と区別するのがますます難しくなっている。今や、ディープフェイク ビデオでさえ簡単に騙される段階に達している。
これらのテクノロジーを駆使すれば、サイバー犯罪者は非常に説得力のあるペルソナを作成し、ソーシャルメディア、電子メール、さらにはライブ音声通話やビデオ通話を通じてその影響力を拡大することができます。確かに、ソーシャルエンジニアリングにおける生成 AI はまだ初期段階ですが、今後数年間でサイバー犯罪の全体像を形成するようになることは間違いありません。それを念頭に、2024 年における生成 AI 主導のサイバー犯罪に関する主要な予測をいくつかご紹介します。
サービスとしての犯罪は目新しいものではありません。サイバー犯罪組織は長年ダークウェブのフォーラムやマーケットプレイスに潜み、技術にあまり詳しくない個人を雇って悪質な活動範囲を拡大してきました。
しかし、AI とデータの民主化により、技術に詳しくない脅威アクターが戦いに加わる新たな機会が生まれています。LLM の助けを借りれば、サイバー犯罪者志願者はいくつかのプロンプトを入力するだけで、魅力的なフィッシング メールや悪意のあるスクリプトを作成できます。この新世代の脅威アクターは、AI の武器化を効率化できるようになりました。
2023 年 10 月、IBM は、AI が生成したフィッシング シミュレーション メールのクリックスルー率が 11% であるのに対し、人間が生成したメールのクリックスルー率は 14% であるというレポートを発表しました。しかし、人間が勝者となったものの、テクノロジーの進歩に伴いその差は急速に縮まっています。感情知能をよりよく模倣し、パーソナライズされたコンテンツを作成できる、より洗練されたモデルの登場を考えると、AI が生成したフィッシング コンテンツが、人間と同等かそれ以上に説得力のあるものになる可能性が非常に高いです。説得力のあるフィッシング メールを作成するには数時間かかる場合がありますが、生成 AI を使用すれば数分で済みます。
日常的なフィッシングメールは、スペルや文法の間違い、その他の明らかな手がかりによって簡単には判別できなくなります。ソーシャルエンジニアリング詐欺師が賢くなっているわけではありませんが、彼らが利用できるテクノロジーは確実に賢くなっています。
さらに、詐欺師は、なりすまそうとしているブランドからデータを簡単にスクレイピングし、そのデータを LLM に入力して、正当なブランドのトーン、声、スタイルを埋め込んだフィッシング コンテンツを作成できます。また、ソーシャル メディアで私たちが情報を過剰に共有する傾向があることを考えると、AI で強化されたデータ スクレイピングは、オンライン ペルソナを詳細に把握し、それを高度にパーソナライズされた攻撃のターゲット プロファイルに変換するのにますます長けています。
人気の生成 AI モデルのほとんどはクローズドソースであり、堅牢な安全バリアが組み込まれています。ChatGPT はフィッシング メールを故意に生成することはなく、Midjourney は脅迫に使用できる危険な画像を故意に生成することはありません。とはいえ、最も厳重に監視され、セキュリティが確保されたプラットフォームであっても、悪用される可能性があります。たとえば、ChatGPT がリリースされて以来、フィルターや制限なしで動作するように、いわゆる DAN (do anything now) プロンプトを使用して、ChatGPT を脱獄しようとする人がいます。
私たちは現在、モデル開発者と、モデルをあらかじめ定義された限界を超えさせようとする人々との間で激しい競争の真っ只中にあります。ほとんどの場合、これは好奇心と実験に帰着します。これには、何に対抗しようとしているのかを知りたいサイバーセキュリティの専門家も含まれます。
より大きなリスクは、画像合成用の Stable Diffusion やテキスト生成用の GPT4ALL などのオープンソース モデルの開発にあります。オープンソース LLM はカスタマイズ、拡張が可能で、任意の制約から解放されます。さらに、これらのモデルは、クラウドの監視の目から遠く離れた、十分に強力なグラフィック カードを搭載した任意のデスクトップ コンピューターで実行できます。カスタム モデルやオープンソース モデルには通常、特にトレーニングに関してはある程度の技術的専門知識が必要ですが、マルウェア開発やデータ サイエンスの専門家に限定されるわけではありません。
サイバー犯罪組織はすでに独自のカスタムモデルを開発し、ダークウェブで販売しています。WormGPT と FraudGPT は、マルウェアの開発やハッキング攻撃の実行に使用されるチャットボットの 2 つの例です。そして、主流のモデルと同様に、これらも継続的に開発と改良が行われています。
2024年2月、CNNは、多国籍企業の財務担当者が詐欺師に2,500万ドルを支払わされるという詐欺に遭ったと報じた。これは、私たちのほとんどが知っているようなフィッシングメールではなかった。むしろ、詐欺師が生成AIを使用して、ライブ電話会議中に会社の最高財務責任者に見事に成りすますアバターを作成したディープフェイク動画だった。
このような攻撃は、まるでディストピア SF のシナリオから飛び出してきたようなものだと思われても仕方ありません。結局のところ、ほんの数年前には突飛に思われたものが、今では、高度で標的を絞ったソーシャル エンジニアリング攻撃の最大の攻撃ベクトルになりつつあります。
最近のレポートによると、2023 年だけでディープフェイク詐欺の試みが 3,000% 増加しており、この傾向が 2024 年以降も続くと信じる理由はない。結局のところ、顔交換技術は今や簡単に利用可能であり、他のあらゆる生成 AI 形式と同様に、立法者や情報セキュリティの専門家が追いつくのがほぼ不可能なペースで進歩している。
ディープフェイク動画詐欺を阻む唯一の要因は、特にリアルタイムで実行される詐欺の場合、相当のコンピューティング能力が必要になることだ。より差し迫った懸念は、特に近い将来に、音声や筆記体を模倣する生成 AI の能力である。たとえば、Microsoft の VALL-E は、3 秒間の音声録音から誰かの声の説得力のあるクローンを作成することができる。手書き文字でさえ、ディープフェイクから逃れることはできない。
ほとんどすべての破壊的イノベーションと同様に、ジェネレーティブ AI は良い方向にも悪い方向にも影響を与える可能性があります。情報セキュリティの専門家が遅れを取らないための唯一の実行可能な方法は、脅威の検出と軽減のプロセスに AI を組み込むことです。AI ソリューションは、セキュリティ チームのスピード、精度、効率を向上させるために必要なツールも提供します。ジェネレーティブ AI は、マルウェア分析、フィッシングの検出と防止、脅威のシミュレーションとトレーニングなどの運用において、情報セキュリティ チームを特に支援できます。
サイバー犯罪者の一歩先を行く最も効果的な方法は、サイバー犯罪者のように考えることです。そのため、レッドチームと攻撃的セキュリティが重要になります。脅威の攻撃者が使用するのと同様のツールとプロセスのセットを使用することで、情報セキュリティの専門家は一歩先を行くための準備を整えることができます。
技術の仕組みと悪意のある人物がそれをどのように使用しているかを理解することで、企業は従業員に合成メディアの検出をより効果的にトレーニングすることもできます。なりすましや欺瞞がかつてないほど容易になっている時代において、偽造の増加から現実を守ることはかつてないほど重要になっています。
生成 AI 時代のサイバーセキュリティと、AI がセキュリティ チームの能力をどのように強化できるかについて詳しく知りたい場合は、IBM の詳細なガイドをお読みください。
2 分で読めます – ランサムウェアが心配ですか? もしそうなら、それは驚くことではありません。世界経済フォーラムによると、大規模なサイバー損失 (100 万ユーロ以上) の場合、データが盗み出されるケースが増加しており、2019 年の 40% から 2020 年にはほぼ 80% に倍増しています。
3 分で読めます – IBM X-Force 2024 脅威インテリジェンス インデックスがリリースされました。見出しには、世界的な ID 危機が発生しているという事実が記されています。X-Force は、有効な認証情報を使用した攻撃が前年比 71% 増加したと報告しています。この中で…
4 分間読む – 2024 年の X-Force 脅威インテリジェンス インデックスの主要な調査結果を調べ、進化する脅威から組織を守る方法を学びます。
2 分で読む – ランサムウェアが心配ですか? もしそうなら、それは驚くことではありません。世界経済フォーラムによると、大規模なサイバー損失 (100 万ユーロ以上) の場合、データが盗み出されるケースの数が増加しており、2019 年の 40% から 2022 年にはほぼ 80% に倍増します。そして、最近の活動はさらに増加しています。一方、他の危険も近づいています。たとえば、2024 年の IBM X-Force 脅威インテリジェンス インデックスでは、脅威グループの投資が生成 AI 攻撃ツールにますます重点を置いていると述べられています。犯罪者は…
4 分で読む – 昨年、米国商務長官は、急速に進歩するこの技術に対処するために、NIST AI リスク管理フレームワークの成功を基に、国立標準技術研究所 (NIST) が人工知能 (AI) に関する新しい公開ワーキング グループの立ち上げを担当すると発表しました。しかし、NIST の最近の予算削減と戦略の実施不足により、この重要な取り組みを主導する機関の能力に疑問が生じています。最終的に、成功は…
2 分で読む – 研究者らは、これまでに見たことのない新しい種類のマルウェア「Morris II」ワームを作成しました。このマルウェアは、人気の AI サービスを利用して拡散し、新しいシステムに感染してデータを盗みます。この名前は、1988 年にインターネットで大混乱を引き起こしたオリジナルの Morris コンピューター ワームに由来しています。このワームは、AI セキュリティ脅威の潜在的な危険性を示し、AI モデルのセキュリティ確保に関する新たな緊急性を生み出しています。新しいワームは敵対的な自己複製プロンプトを使用します。コーネル テック、イスラエル工科大学、Intuit の研究者らは、…
サイバーセキュリティ業界の何百人もの優秀な専門家による分析と洞察が、コンプライアンスの証明、ビジネスの成長、脅威の阻止に役立ちます。
元記事: https://securityintelligence.com/articles/social-engineering-generative-ai-2024-predictions/