自律 AI ワーム

実行時に攻撃戦略を生成する脅威モデル

事案日
2026-06-02
公開日
2026-06-05
発行
Lemma Critical Team

TL;DR

2026 年 6 月 2 日、トロント大学の研究チーム(CleverHans Lab)が、自律的に攻撃戦略を生成する AI ワームの概念実証を arXiv で公開した。誰でも入手できる open-weight LLM を侵害先のホスト上で動かし、偵察結果から標的ごとの攻撃手法を実行時に合成し、失敗すれば観測に基づいて戦略を修正する。研究では、学習打ち切り後の 2026 年に公開された脆弱性についても、公開アドバイザリを実行時に取り込んで動作する exploit へ変換できることが示された。15 回の試験で平均 31.3 件の脆弱性を発見し、特権アクセスで平均 23.1/33 ホスト(ネットワークの 73.8%)を侵害、20.4 ホスト(61.8%)に自己複製した。本 PoC は、脅威がもはや「持ち込まれる固定の exploit」ではなく「実行時に生成される振る舞い」であり得ることを示す。シグネチャや既知 IoC を前提にした検出は、この脅威モデルでは射程を外す。本 Brief は、エージェントが「何を実行できるか」ではなく「何を許可されているか」を独立検証する層が不在のとき、自律的な振る舞いを止める手立てが残らない構造を扱う。

実行できた ≠ 許可されていた


事案概要

  • 公開: 2026-06-02、トロント大学 CleverHans Lab(Nicolas Papernot 教授ら)が論文 “AI Agents Enable Adaptive Computer Worms” を arXiv で公開(プレプリント)。Infosecurity Europe 2026 でも話題化
  • 手法の要点: open-weight LLM を侵害ホスト上で実行。偵察 → 標的固有の攻撃戦略を実行時に合成 → 失敗時は観測から戦略を改訂、という自律ループ
  • 新規性: 固定の exploit に依存せず、学習打ち切り後に公開された脆弱性のアドバイザリを実行時に取り込み、動作する exploit へ変換できることを実証
  • 評価結果(15 試験の平均): 発見した脆弱性 31.3 件、特権アクセスで侵害 23.1/33 ホスト(73.8%)、自己複製 20.4 ホスト(61.8%)
  • 位置づけ: 実被害事案ではなく、模擬企業網での研究 PoC。ただし「高度な 0-day や特殊モデルを要さず、無償 open-weight モデルで成立する」点が脅威モデルの転換を示す

タイムライン

  • 〜2026 前半: agentic AI のセキュリティ懸念が業界で先鋭化
  • 2026-06-02: 論文を arXiv で公開(プレプリント)
  • 2026-06-03〜04: Fortune・The Register・TechTimes 等が報道。Infosecurity Europe 2026 の文脈で取り上げられる

拡散の経路(概略)

本 Brief は再現性のある手順を記載しない。脅威モデルの構造を理解するための概略のみを示す。

  1. 実行: 侵害したホスト上で、エージェント(LLM + ツール)が自律的に動作を開始する
  2. 実行時の戦略生成: 固定の exploit を持ち込むのではなく、偵察結果と公開情報から、その標的に合う手法を実行時に組み立てる
  3. 適応: 試行が失敗した場合、観測結果に基づいて手法を改訂し、再試行する。固定シグネチャを持たないため、同じ攻撃が二度同じ形で現れるとは限らない
  4. 自己複製: 侵害したホストから次のホストへ自身を展開し、同じ自律ループを再起動する
  5. 帰結: 攻撃の「形」が事前に定義されないため、既知の IoC・シグネチャ・固定パターンを前提とする検出が構造的に後手に回る

構造的論点

本事象は、脅威の本体が「持ち込まれるコード」から「実行時に生成される振る舞い」へ移ったことを示す代表例である。従来の防御の多くは「既知の悪性コード/パターンを検出して止める」前提に立つが、振る舞いが実行時に合成されるなら、検出すべき固定の対象が存在しない。エージェントが自律的に行動する世界では、防御線は「何が実行されたか」の検出ではなく、「そのエージェントが、その行為を行う権限を持っていたか」の独立検証に移る。

検出すべきシグネチャがない ≠ 脅威がない

Brief 007(PocketOS で AI エージェントが本番 DB を 9 秒で削除)・Brief 009(GTG-1002、AI エージェントが攻撃の大半を自律実行)と同じ Agent Runaway の primitive に属する。これらが「権限を持つエージェントの破壊的・自律的行為が独立検証されない」構造を扱ったのに対し、本 PoC は同じ gap が攻撃者側の道具として成立することを示し、エージェント権限証明の不在がもたらすリスクの対称性を明らかにする。


検出と証明の落差

本研究の意義の一つは、検出側の前提を可視化したことにある。EDR・シグネチャ・脅威インテリジェンスは、既知の手口を止める層として引き続き不可欠であり、本 Brief がその役割を否定するものではない。研究自体も、防御側がこの脅威モデルに備えるための検出・観測の重要性を示している。

一方で、検出は「実行時に新たに合成される振る舞い」を、事前に定義された対象として捉えることができない。固定の IoC を持たない攻撃に対して、検出は常に「観測してから」しか動けず、自律ループの速度に対して後手に回る。検出スコアは、エージェントの行為が「許可された範囲だったか」を独立に立証する材料にはならない。これは検出層の射程外にある、構造的に独立した層の gap である。

現状、エージェント運用の全体モデルにおいて、行為の実行前にその権限を独立検証する層は、まだ独立した層として扱われていない。事前証明(pre-execution attestation)は、エージェントの各行為の経路に権限証明を 1 段挟むことで、この gap を埋める。検出が「振る舞いを観測して止める」のに対し、事前証明は「許可されていない行為を、実行される前に拒む」。両者は相補的であり、組み合わせでエージェントの trust boundary が確立される(検出と事前証明の関係についての詳細は「AI 時代のサイバー防衛に残された、最後の層」(Lemma、2026-05)を参照)。


対応経緯と業界動向

  • 研究・業界: 本 PoC は責任ある開示の文脈で公表され、防御側の備えを促す論調で受け止められている。Infosecurity Europe 2026 では agentic AI のセキュリティが主要テーマとなった
  • 脅威モデルの転換: 「高度な専用ツールや 0-day がなくても、無償の open-weight モデルで自律的な攻撃が成立し得る」という点が、攻撃コストの前提を変えるものとして議論されている
  • 防御の重心: 検出の強化に加え、エージェントの権限・委任スコープ・実行可能な行為の集合を、実行前に独立検証する層への関心が高まっている

エージェントの行為を実行前に権限の観点で検証する層の不在は、特定の製品の問題ではなく、agentic AI 全体の運用課題として浮上している。


Lemma による分析

本事象で露呈した検出と証明の落差(自律エージェントの行為が、実行前にその権限の観点で独立検証されない)に対して、Lemma は、エージェントの権限と委任関係を独立検証可能な暗号証明として commit し、各行為が「許可された範囲か」を実行前に検証できる設計を提示している。

  • 委任チェーンの証跡化: エージェントの権限は、誰が・どのエージェントに・どこまで委任したかを発行者署名付きで発行し、Poseidon over BN254 でコミットする。多段の委任も各ノードの証明で束ねる
  • 実行前の権限検証: 行為の実行条件として、その行為が委任スコープ内であることを Groth16(Circom 回路)で検証する。スコープ外の行為は、検出ではなく実行前の拒否として止まる
  • 最小開示: BBS+ over BLS12-381 により、「この行為は許可された範囲内」であることだけを検証側に開示する。委任の全容や内部構成は渡さない

これにより、エージェントが実行時にどれほど新規な手法を合成しても、その行為が許可された権限の集合を超えていれば、実行前に拒まれる。検出(事後の観測・封じ込め)は発覚後の対応に、事前証明(実行前の権限検証)は trust boundary の固定に、それぞれ相補的に働く。

Models change. Proofs remain.

設計と適用範囲は、ユースケース「マルチエージェント・ワークフロー」および Pillar 03 — エージェント権限証明 を参照のこと。


Sources

学術プレプリントと報道を出典として示す。攻撃の再現に資する詳細は引用しない。


Brief 配布について

Lemma が発行する脅威インテリジェンス・ブリーフです。CSO・アナリスト・規制実務者向けに、AI 時代のサイバー事案および信頼インフラのリスク事象を構造的に分析し、検出と証明の落差と Lemma の応答層を特定します。


© 2026 FRAME00, Inc.

Lemma Critical Monthly

実際に起きたリスク事案の構造分析(Critical Brief)を軸に、検出の先に必要な「証明」への視点を月 1 回お届け。

ニュースレターを購読
Cite this Brief

この Brief を引用する

Lemma Critical Team. (2026).
"自律 AI ワーム — 実行時に攻撃戦略を生成する脅威モデル".
Lemma Critical Brief No.026. Lemma / FRAME00, Inc.
https://lemma.frame00.com/ja/critical/briefs/026-adaptive-ai-worm-runtime-exploit/