命令の出所を検証しないまま、AI が社内データを送り出した

取り込んだ命令の出所と権限が、行動の前に独立検証されない構造(EchoLeak / Microsoft 365 Copilot)

事案日
2025-06-11
公開日
2026-06-15
発行
Lemma Critical Team
関連 Pack
Pack AIncident Response

TL;DR

エンタープライズ向け AI アシスタントは、受信したメールやドキュメントを「処理すべきデータ」として読み込む。だがそのデータに紛れ込んだ「命令」を、AI が正当な指示と区別できないなら、攻撃者は AI に社内文書を読ませ、外部へ送らせることができる。2025 年 6 月 11 日、セキュリティ企業 Aim Labs(Aim Security)が公表した EchoLeak(CVE-2025-32711, CVSS 9.3) は、まさにこれを Microsoft 365 Copilot で成立させた。利用者の操作を一切要さず(ゼロクリック)、細工したメールを 1 通送るだけで、Copilot がアクセスできる範囲(OneDrive・SharePoint・Teams・チャット履歴など)の機微データを攻撃者管理下のサーバへ流出させられた。本 Brief を Pillar 02(検証可能 AI)の観点から、「AI が行動する瞬間に、その行動の根拠=取り込んだ命令の出所と権限が独立検証されていない」構造として分析する。Microsoft は実環境での悪用証拠はないとしサーバ側で修正済みだが、failure primitive は個社のバグではなく、LLM が信頼境界を持たないという設計上の落差にある。Brief 047(エージェントが検証の前に動く)・024(人間が読む入力とモデルが読む入力の乖離)・005(入力整合性の偽造)・027(AI インフラからの秘密流出経路)に連なる。


事案概要

  • 対象: Microsoft 365 Copilot(Outlook・SharePoint・OneDrive・Teams 等を横断する RAG ベースのエンタープライズ AI アシスタント)
  • 識別子: CVE-2025-32711。CVSS 9.3(Critical)
  • 発見・報告: Aim Labs(Aim Security)が発見し、Microsoft Security Response Center(MSRC)へ非公開報告
  • 攻撃の性質: ゼロクリック。攻撃者が送った 1 通のメールを Copilot が通常の要約・参照処理で取り込むだけで成立し、被害者側の操作・クリックは不要
  • 流出範囲: Copilot のアクセススコープ全般(OneDrive ファイル、SharePoint コンテンツ、Teams メッセージ、チャット履歴、事前ロードされた組織データ)
  • 核心: 細工メール内に埋め込まれた命令を、Copilot が「処理対象のデータ」と「実行すべき指示」とに区別できず実行した。つまり取り込んだ命令の出所と権限が、行動の前に独立検証されない
  • 実環境での悪用: Microsoft は「顧客側の対応は不要」「実環境で悪用された証拠はない」と表明。本件は責任ある開示(PoC)段階で報告・修正された

注: 本 Brief は個別の悪用事例の有無を断定するものではなく、AI アシスタントが命令の出所を検証せずに行動する構造を分析対象とする。


タイムライン

  • 2025-01: Aim Labs が実動する PoC を作成し、MSRC へ非公開で報告
  • 2025 年春先: 初期の緩和措置
  • 2025-05: Microsoft がサーバ側修正を展開
  • 2025-06-11: アドバイザリと攻撃連鎖の研究が公開(CVE-2025-32711)。同月の Patch Tuesday に掲載
  • 2026 以降: SharePoint/Copilot 連携などで類似系統が報告され、AI アシスタントの信頼境界問題が単発でないことが示される

攻撃が「未検証の実行」へ伝播する経路

本件は、AI アシスタントが取り込んだ命令の出所・権限を行動前に独立検証しない構造に起因する。失敗の伝播は以下の通り。

  1. untrusted データの取り込み: Copilot は受信メールや SharePoint コンテンツを、信頼境界を分離せずに同じコンテキストへ結合して処理する。攻撃者のメール本文は「処理対象データ」として LLM のコンテキストへ入る
  2. 命令とデータの混同(LLM Scope Violation): LLM は「信頼できる命令」と「untrusted データ」を同一のトークン列として受け取るため、データに埋め込まれた指示を正当な命令と区別できない。攻撃者の指示が実行対象になる
  3. 防御層の多重バイパス: Cross-Prompt Injection(XPIA)分類器、外部リンクの墨消し、Content-Security-Policy、Copilot の参照記法といった検知・抑止層を、参照スタイルの Markdown・自動取得される画像・Microsoft Teams プロキシの悪用などで回避
  4. データの越境(exfiltration): Copilot が自身のアクセス範囲の社内データを読み出し、信頼されたドメイン経由で攻撃者管理下へ送出。被害者の操作は不要
  5. 可視性の欠如: ゼロクリックかつ正規経路を使うため、通常の利用ログ上は異常として現れにくい。発見は外部研究と事後分析に依存する

構造的論点

本件は Pillar 02(検証可能 AI)の ai-decision-integrity カテゴリに属する。中心的な failure primitive は、AI エージェントが取り込んだ命令の出所と権限を、行動(社内データの読み出しと送出)の前に独立検証していないことである。「このメール本文に含まれる指示は、正当に与えられた命令か、それとも単なる untrusted データか」という区別が、システムの自己判断の内側に閉じており、行動前に独立検証されない。secondary に agent-infrastructure(エージェントが横断するデータ面の信頼境界)と data-provenance(取り込む入力の出所)を併記する。

ターゲットは Brief 024(不可視 Unicode による命令注入=人間が読む入力とモデルが読む入力の乖離)や Brief 005(嘘フォントによる入力整合性の偽造)と異なるが、共有する primitive は同じだ。すなわち、判断や行動が、それを検証する層から切り離されたまま、実行・データ越境へ直結する。さらに Brief 047(メール読解エージェントが送信元を検証する前に資格情報を転送した)と同型で、「エージェントが検証の前に動く」点が核心である。EchoLeak が示すのは、この primitive が研究上の懸念ではなく、本番のエンタープライズ AI で、ゼロクリックの実データ流出として成立したという事実である。


検出と証明の落差

ここでは検出チェーン — Aim Labs による研究、MSRC への報告、Microsoft のサーバ側修正、XPIA 分類器という既存の抑止層 — が一定の役割を果たした。脆弱性は外部研究によって可視化され、悪用前に修正された。これは検出の成功例であり、本 Brief は検出層の役割を否定しない。検出は、疑いを立て、修正を促し、被害範囲を絞り込むために不可欠である。

しかし本件で問題なのは、XPIA 分類器という検出層が多重にバイパスされたこと、そして検出層がどれほど強化されても「AI が行動する瞬間に、取り込んだ命令の出所と権限が正当か」を独立に証明する材料にはならないことである。分類器は確率的判定であり、「この命令は正当に与えられた」という証明ではない。攻撃が正規ドメインとゼロクリック経路を使う以上、事後の検出・分析は、データがすでに越境した後に作動する後追いの系列になる。これは検出の射程の外にある、構造的に独立した層の落差である。

現状、エンタープライズ AI の運用モデル全体で、エージェントが取り込む命令の出所・権限の独立検証は、モデルの自己判断と分類器への信頼に依存しており、独立した層として扱われていない。事前証明(pre-execution attestation)は、エージェントの行動経路に「この命令はこの権限の下で正当に与えられた」という属性証明を 1 ステップ挿入することで落差を塞ぐ。検出の代替ではなく 補完 であり、両者が揃って初めて、AI の行動に対する信頼境界が確立される。行動の前に独立検証する考え方は 「Proof-as-Auth: 鍵を一度も送らずにサインインする」(Lemma、2026-05)、検出と事前証明の thesis は 「AI 時代のサイバー防衛に残された、最後の層」(Lemma、2026-05)を参照。


対応経緯と業界動向

  • ベンダー対応: Microsoft は CVE-2025-32711 を割り当て、サーバ側で修正。顧客側の対応は不要とし、実環境での悪用証拠はないと表明
  • 業界の認識転換: EchoLeak は「本番 LLM システムにおける初の実世界ゼロクリック・プロンプトインジェクション」として、エンタープライズ AI のリスク認識を更新した。LLM が信頼できる命令と untrusted データを同一トークン列として扱うというアーキテクチャ上の弱点が論点化
  • 連続性: 2026 年以降も SharePoint/Copilot 連携などで類似系統が報告され、単発のバグではなく、AI アシスタントの信頼境界に内在する課題として継続的に表面化している
  • 重心の移動: プロンプトインジェクション対策の重心が、分類器による検出から、エージェントの実行境界そのものの設計(命令の出所・権限の検証)へ移りつつある

命令の出所と権限を行動の瞬間に独立検証する層の不在は、一社の問題ではなく、エンタープライズ AI を導入する組織と AI プラットフォーム提供者の双方にまたがる運用課題として残る。


Lemma による分析

EchoLeak が露呈した落差 — AI エージェントが取り込んだ命令の出所と権限を、行動の前に独立検証しないまま、社内データの読み出しと越境へ直結させてしまう — に対し、Lemma はエージェントの行動の根拠を、その瞬間に独立検証可能な暗号学的証明として固定する設計を提示している。

  • 行動時アテステーション: エージェントがデータアクセスや送出を行う前に、「この行動が、正当に与えられた命令・権限の範囲内である」ことを署名付きで証明する。命令の正当性が、事後ラベリングではなく行動時点の証明として固定される
  • 命令/データの出所束縛: 取り込む入力(メール・ドキュメント等)を docHash で原本に束縛し、「処理対象データ」と「実行すべき命令」の区別と出所を検証可能にする。untrusted データに埋め込まれた指示が、検証を経ずに命令へ昇格しない
  • 権限スコープの証明: エージェントのアクセス権限(誰の・どのスコープのデータへ・どこまで)を、行動前に独立検証可能な属性として束縛する
  • 選択的開示: 「行動が権限範囲内であった」ことだけを最小限で証明し、社内データそのものは外部に出さない

行動時点で固定された証明は、後日「この送出はそもそも正当な命令に基づいていたか」を問われたときに、ソースデータを開示せずに独立検証できる証跡として機能する。検出(事後の研究・分類器)は被害範囲の縮小に、事前証明(行動時の検証)は AI の行動の根拠の独立検証に、それぞれ補完的に寄与する。設計と適用範囲は、Pillar 02 — 検証可能 AI および Trust402 を参照のこと。


Sources


Brief 配布について

Lemma Critical Brief は Lemma が発行する脅威インテリジェンス・ブリーフです。本資料は公開情報の構造化分析であり、特定の組織への監査・診断・推奨ではありません。意思決定の参考として用いる場合は、貴組織の Lemma Critical 担当に直接ご相談ください。

Discovery Call → ホワイトペーパー → ✉️ ニュースレター →


(c) 2026 FRAME00, INC. — Built for decisions that matter.

Lemma Critical Monthly

実際に起きたリスク事案の構造分析(Critical Brief)を軸に、検出の先に必要な「証明」への視点を月 1 回お届け。

ニュースレターを購読
Cite this Brief

この Brief を引用する

Lemma Critical Team. (2026).
"命令の出所を検証しないまま、AI が社内データを送り出した — 取り込んだ命令の出所と権限が、行動の前に独立検証されない構造(EchoLeak / Microsoft 365 Copilot)".
Lemma Critical Brief No.055. Lemma / FRAME00, Inc.
https://lemma.frame00.com/ja/critical/briefs/055-echoleak-m365-copilot-instruction-provenance/