「LLM がどのように推論を行うかについて誰かが息を切らして興奮するたびに、それは…」
マイクロソフトは、米国諜報機関専用に GPT-4 に基づくエアギャップ型大規模言語モデル (LLM) を導入したと、同社の戦略ミッションおよびテクノロジー担当 CTO ウィリアム・チャペル氏が述べた。これは、2023 年に「政府機関向けの Azure Government における Azure OpenAI サービスの初期プレビュー」を今年の第 1 四半期中に開始するという約束を果たしているようだ。
マイクロソフトの成果を最初に報じたブルームバーグは、これを「インターネットから完全に切り離された生成AIモデル」であり、諜報機関が「強力な技術を安全に活用して極秘情報を分析」するために使用できると絶賛し、レドモンドはインフラのために「アイオワ州にある既存のAIスーパーコンピューター」を全面的に改修したと述べた。
「生成型AIを諜報データに取り込む競争が行われている」と、CIAのトランスナショナル・テクノロジー・ミッションセンターのアシスタントディレクター、シータル・パテル氏は最近の会議でこう述べた（おそらく逆の意味で、生成型AIに諜報データを取り込むという意味だろう）。ブルームバーグはこう報じた。
今週ブルームバーグが報じたところによると、彼女は、知能化のために生成AIを最初に使用する国がその競争に勝つだろうと語った。「そして、それが私たちであってほしい」
大西洋の向こうの英国諜報機関の技術リーダーたちの友人たちは、この技術にそれほど魅了されていないようだ。
2023年後半に執筆した記事の中で、英国の信号諜報およびサイバーセキュリティ機関GCHQの主任データサイエンティストである「アダムC」は、「現在のLLMは、いくつかの反復的な諜報タスクの効率を向上させる基本的な生産性アシスタントとして有望な可能性を示しています」と鋭く結論付けています。
「しかし、最も有望な使用例はまだ見えておらず、今後の取り組みでは、次の単語が何であるかを予測するだけでなく、処理する情報のコンテキストを理解するモデルの開発に重点を置く必要がある」と、同氏は2023年9月に共同執筆した記事で述べた。
エコノミスト誌の防衛担当編集者シャシャンク・ジョシ氏によると、2024年4月にアラン・チューリング研究所で講演した「アダムC」はさらに悲観的だったという。
ジョシは、X で彼が次のように述べたと引用している。「LLM がどのように推論を行うかについて誰かが息を切らして興奮するたびに…それは暗記の例であることが判明します…その反例は知りません。LLM には、これを問題にする構造的な何かがあると思います…LLM は、正しくなければならないという重大な義務を負っているアナリストにとって、本当に怪しいテクノロジーです」と、ジョシは 4 月 26 日にチューリングで彼が述べたと引用している。
「実際のところ、これは2～4年後に話題になる話ではないのですが、AIは依然として「非常に価値のあるバックエンド分析機能」であると彼は付け加えたと伝えられている。2023年の記事では、「法学修士課程は一連の推論で『注意を引き付ける』ことができるように設計されていますが、諜報活動で役立つためには、横断的かつ反事実的な複雑な推論をサポートできる必要があります」と述べている。
「反事実的推論は現実世界のエンティティ間の関係をモデル化することに依存しているため、LLM の最先端の技術でこれを実現できる可能性は低いです。ニューラル ネットワークの統計的推論力とシンボル処理のロジックおよび解釈可能性を組み合わせたニューロシンボリック ネットワークなどのハイブリッド アーキテクチャの開発が、ここで最も大きな可能性を秘めているようです。」
「我々は国家安全保障コミュニティ内でこのような有望な技術についてさらに研究することを奨励する」とアダム・C氏は当時書いている。
LLM には他にも間違いなく便利な機能がありますが、あるハイパースケーラーの幹部が最近 The Stack に率直に述べたように、クラウドでコミットされているがまだ展開されていない顧客の支出を消費するのに非常に優れています。(ハイパースケーラーで Anthropic の Claude 2.x のトークン クォータ制限を最大限に使用すると、1 日で 46,000 ドルの請求額が簡単に膨らむ可能性があります。これは、クラウド セキュリティの専門家である Sysdig が最近、初期段階の「LLM ジャッキング」の試みに関する説得力のある調査で指摘したとおりです。Sysdig は、その痕跡を特定しました。)
マイクロソフトの「エアギャップ」サービスは木曜日に開始された。現在、情報機関によるテストと認定を受けているとブルームバーグは伝えた。
