製品 Lemma API証明の発行・検証の基盤Trust402エージェントに任せ、取引するSeal鍵を渡さない、エージェント時代のサインイン
ユースケース 製造・基幹インフラ検査記録アシュアランス金融・FinTech取引先レコード検証自治体・公共証明書レス手続き医療・ヘルスケア有資格者アシュアランス調達・サプライチェーン仕入先資格モニタリングメディア・コンテンツコンテンツ真正性サービス・小売グループ横断アイデンティティAI導入（業種横断）AI実行ガバナンス開発者・エージェント運用エージェント権限統制 ▸ 業界別ソリューション索引を見る
料金
リソース Critical BriefAI×信頼の最前線ブログ考え方と実装の記録ドキュメントAPI と仕様書検証センター検証・発行の実数運営会社FRAME00, Inc.お問い合わせ導入・取材のご相談ニュースレター更新のお知らせ用語集言葉の定義FAQよくある質問
始める ↗ EN
ホーム / Critical Brief / No. 042
No. 042 Pillar 02 · 検証可能 AI

Waymo：自動運転車が、停止中のスクールバスを止まらずに通り過ぎた

走行判断が、安全に関わる行動の前に独立検証されない構造（NHTSA）

AI 判断の完全性 データ来歴AI バイアス・有害性
事案日
2025-12-05
公開日
2026-06-17
発行
Lemma Critical Team
関連 Pack
Pack A · Incident Response

TL;DR

Waymo の自動運転車が、赤色灯と停止アームを出して停止中のスクールバスの脇を止まらず通過し、NHTSA がその映像を受けて調査を開始した。映像・学区の通報・事故報告は事案を可視化したが、いずれも行動の後に作動する事後の検出であり、ソフト更新とリコールという是正の後にも事案は続いた。欠けているのは、通過という行動の前に「目の前のバスは停止中で停止義務を満たすか」を独立検証する層であり、規則の充足はシステム内部の判断に委ねられた。

何が起きたか

  • 対象: Waymo の自動運転車（ADS 搭載のロボタクシー、Atlanta・Austin 等で運行）
  • 事象: 停止中（赤色灯点灯・stop arm 展開）のスクールバスに対し、Waymo 車が停止せず脇を通り過ぎる、または停止状態を維持しなかった。米国では停止中スクールバスの追い越しは違法であり、児童の乗降に直結する安全規則である
  • 規模: Austin 学区は今年度 19 件を記録。うち 1 件は児童が車の直前を横断した直後の通過。Atlanta でも 2025 年に少なくとも 6 件。NHTSA ODI は、静止物・半静止物（ゲート・チェーン等）や駐車車両への衝突、信号制御の無視を含む 22 件の報告も対象にしている
  • 対応: Waymo は原因ソフトウェアを特定し 2025-11-17 までに更新。2025-12 に自主的なソフトウェアリコール（第 5 世代 ADS 搭載の 3,067 台）を NHTSA と実施。ただし学区は更新後にも複数の事案を確認したとしている

本事象は、自動運転の走行判断が、安全に関わる行動を起こす前に独立検証されない構造に起因する。失敗が公共空間の事象へ伝播する経路は以下の通り。

  1. 状況の認識: 自動運転システムが、前方のスクールバスとその状態（赤色灯・stop arm・乗降中の児童）を知覚する。知覚と「停止義務がある」という規則適用は、システム内部の判断に委ねられる
  2. 行動の決定: システムは停止／通過を決定し、車を制御する。この決定が「停止義務を満たしているか」は、行動を起こす前に外部から独立に検証されない
  3. 安全規則違反の行動: 停止義務がある状況で通過する。児童の乗降に直結する公共安全規則の違反が、物理的な行動として実行される
  4. 事後の検出: 映像・学区の通報・NHTSA への報告を通じて事案が可視化される。これは行動の後に作動する事後の系列である
  5. 是正と再発: Waymo はソフトウェアを更新しリコールを実施するが、更新後にも事案が報告された。是正は判断の事後修正であり、個々の行動の前の独立検証ではない

時系列 — 公表と対応

  • 2025-10: NHTSA ODI が、Atlanta で Waymo 車が停止中スクールバスの脇を通過した映像（メディア報道）を受け調査を開始
  • 2025-11-17: Waymo が原因ソフトウェアを特定し更新を展開したと説明
  • 2025-12-03: NHTSA が Waymo に対し、2026-01-20 までの質問回答を求める書簡を送付
  • 2025-12: Waymo が自主的なソフトウェアリコール（第 5 世代 ADS 搭載の 3,067 台）を NHTSA と実施
  • 2025-12 以降: Austin 学区は更新後にも事案を確認したと報告
  • 2026: NHTSA が調査を拡大。stop arm・横断アームを展開したスクールバスへ停止状態を維持しなかった事案、静止物衝突・信号無視を含む 22 件の報告を対象に。Zoox も別途、不意の急制動による追突 2 件で調査対象

注: リコール台数（3,067）・各事案件数は NHTSA リコール文書および報道に基づく。Waymo の別件リコール（冠水路走行に関する約 3,800 台）と混同しないよう、本 Brief はスクールバス関連のリコールに限定する。

公表後の対応と業界の動きは次のとおり。

  • Waymo / NHTSA: Waymo は原因ソフトウェアを特定し更新・自主リコールを実施。NHTSA ODI は 2026 に調査を拡大し、停止中スクールバスへの停止維持失敗や静止物衝突・信号無視を含む報告を対象に継続。Zoox も別途、不意の急制動による追突で調査対象になっている
  • 是正の限界の論点: ソフトウェア更新後にも事案が報告されたことで、判断モデルの事後修正と、個々の行動の前の独立検証を区別する必要が論点になっている
  • 業界横断の論点: 自動運転の安全評価を、運行主体の事後テレメトリと是正だけに依存させず、安全に関わる走行判断を行為の時点で独立検証可能な証跡に固定する（provenance / pre-execution attestation）方向へ、信頼設計の重心を移す議論が進んでいる

公共道路という不可逆な空間で、AI の走行判断が独立検証なく行動に直結する構造は、特定企業の問題ではなく、自動運転を社会実装する全体の信頼設計の課題として残っている。

なぜ止まらなかったか

中心的な失敗 primitive は「安全に関わる走行判断が、行動を起こす前に独立検証可能な証跡として固定されず、規則の充足がシステム内部の判断とその事後検出に委ねられること」にある。「停止中スクールバスへの停止義務」という安全規則の適用も、車が行動を起こす前に外部から独立検証されなかった。

本事案は Brief 049（Tesla Robotaxi）と同じ自動運転クラスタだが、断面が異なる。049 は事故時の制御帰属と記録の来歴（誰／何が制御していたか、記録は真正か）を扱った。本事案は、制御主体は自動運転システムで明確な一方、その走行判断そのものが、安全規則を満たしているかを行動前に独立検証されていない点を扱う。Brief 012（顔認識の AI 判定が独立検証なく行政の強制処分に直結した）と同型で、AI 判断が独立検証を欠いたまま、公共空間の不可逆な行動・処分に直結する構造を、自動運転の走行判断へ移す。Brief 043（安全性属性が自社申告のまま検証されない）とは、安全性の主張・判断が独立検証の外にある点で連なる。

ソフトウェア更新後にも事案が続いたことは、論点を際立たせる。是正は判断モデルの事後修正であり、個々の行動が「いま安全規則を満たしている」ことを行動の前に独立検証する層とは別系統である。更新が判断の分布を改善しても、各行動の前の独立検証がなければ、残存事案は検出と是正のループの中でしか捕捉できない。

NHTSA ODI の調査、学区からの通報、車載テレメトリの解析、そして Waymo によるソフトウェア更新とリコールは、被害把握・安全評価・再発防止に不可欠であり、本 Brief がその役割を否定するものではない。事案の可視化と是正は、自動運転の安全を社会が評価する基盤である。

一方で、検出は「いま起こそうとしている走行判断が、安全規則を満たしているか」を、行動の前に独立に立証する材料にはならない。停止中スクールバスへの通過は、システムが正規の走行判断として実行した行動であり、通信・制御としては通常運行と区別がつかない。事後のテレメトリ解析は「何が起きたか」を再構成するが、「その判断は行動の前に規則充足を独立検証されていたか」には答えない。リコールとモデル更新も、判断の分布を事後に修正するもので、個々の行動の前の独立検証ではない。更新後にも事案が続いたことは、検出と是正のループだけでは残存リスクを行動前に止められないことを示す。

証明があれば、何が変わるか

事前証明（pre-execution attestation）の発想は、安全に関わる走行判断を「事後にテレメトリで検証する」から「行動を起こす前に、安全規則の充足を独立検証可能な証跡に固定する」へ反転させる。「停止中スクールバスに対し停止義務を満たした」という判断を、行為の時点で改ざん耐性のある来歴にバインドし、事後の記録づけや是正に依存せず、各行動が規則を満たしていたかを独立に検証できるようにする。事故・違反の検出（detection 的な「何が起きたか」）と走行判断の証明（「その行動は行動前に安全規則を満たすと独立検証されていたか」）は代替ではなく 補完 の関係にある。

本事象で露呈した落差（自動運転の走行判断が、安全に関わる行動の前に独立検証されない）に対して、Lemma は、判断・行為の時点で、その充足と認可を独立検証可能な暗号証明として固定する設計を提示している。

  • 走行判断の来歴バインド: 安全に関わる走行判断（停止義務の充足等）を、行為の時点で改ざん耐性のある来歴に紐付け、「この行動は安全規則を満たすと独立検証されていたか」を事後に独立検証可能にする
  • 記録の真正性証明: 走行判断・テレメトリを発行時点に docHash でバインドし、事後の記録づけに依存せず真正性を検証可能にする
  • 判断の独立検証ゲート: 安全に関わる行動を、内部判断のみで実行するのではなく、規則充足の独立検証可能な証明を満たした場合に限り実行できる設計を志向する
  • 選択的開示: 内部の知覚モデル・実装を出さずに、「この行動は安全規則の検証条件を満たした」ことだけを最小開示し、独立検証と機微情報保護を両立する

これにより、行為の時点で固定された証明が、「この走行判断は行動の前に安全規則を満たしていたか」を、事後の是正に依存せず独立検証可能なトレイルとして機能させる。検出（事後の通報・テレメトリ・リコール）は社会的評価と是正に、事前証明（行為時点の判断の独立検証）は安全規則充足の立証に、それぞれ相補的に働く。

Sources

「AI 時代のサイバー防衛に残された、最後の層」「Proof-as-Auth: 鍵を一度も送らずにサインインする」Pillar 02 — 検証可能 AITrust402

本資料は公開情報の構造化分析であり、特定組織への監査・診断・推奨ではありません。

この Brief を引用する

Lemma Critical Team. (2026).
"Waymo：自動運転車が、停止中のスクールバスを止まらずに通り過ぎた — 走行判断が、安全に関わる行動の前に独立検証されない構造（NHTSA）".
Lemma Critical Brief No.042. Lemma / FRAME00, Inc.
https://lemma.frame00.com/ja/critical/briefs/042-waymo-school-bus-stop/
関連する BriefRelated
No. 124 Medicare の AI 事前承認 WISeR：不承認は下されたが、どの記録に照らした判定かは残らない AI 判断の完全性 No. 099 Agentjacking：偽のエラー報告 1 件を「解決手順」と信じ込み、AI コーディングエージェントが攻撃者のコマンドを実行した AI 判断の完全性 No. 098 BioShocking：「これはゲームだ」と信じ込ませるだけで、AI ブラウザが安全ガードを外して認証情報を渡した AI 判断の完全性
Lemma

確かめられないものを、
業務に入れない。

Lemma は、データや AI の実行に暗号技術で証明を付け、受け取った側が発行者に問い合わせることなく真正性を確認できるようにします。検出はそのままに、その前段へ一層を足す構成です。

エンタープライズ相談 検証センターを見る Critical Weekly を購読する →