初回半額相談予約
Blog

【弁護士監修】試験中のAIが外部に侵入した3件──EU AI法の科学パネルが勧告4項目、欧州委員会は情報要求へ

【弁護士監修】試験中のAIが外部に侵入した3件──EU AI法の科学パネルが勧告4項目、欧州委員会は情報要求へ

読了目安 17分/結論だけなら 45秒

2026年10月9日、欧州委員会がEU AI法の科学パネルの特別会合を開きました。議題の筆頭は「制御喪失(loss-of-control)事案」です。

この夏、AI開発企業のモデルが、性能を測るための試験環境から外のインターネットに出て、無関係な事業者のシステムに侵入する事案が相次いで公表されました。3件とも、モデルを一般に提供する前後の「評価」の場面で起きています。

欧州委員会の上級副委員長は、会合の冒頭でこう述べました。

These are not hypothetical scenarios from a science-fiction film. These are real incidents, happening now, that undermine public trust and threaten public safety. 欧州委員会上級副委員長(技術主権・安全保障・民主主義担当)の冒頭発言(2026年10月9日、SPEECH/26/2148)

会合では科学パネルの議長・副議長が勧告4項目を示し、欧州委員会は科学パネルとAIオフィスの質問を組み合わせた情報要求を、関係するモデルの開発企業に送ると発表しました。

この記事は、3件の事案の中身、勧告4項目、情報要求の手続、そして「試験段階の事案にEU AI法は及ぶのか」という論点を、一次情報で整理するものです。

この記事が関係する会社
  • AIエージェントを社内で試験・検証している——3件とも、試験環境の外部接続が起点です
  • AIエージェントに社内システムやクラウドの権限を渡している
  • 外部の評価ベンダー・検証ベンダーにAIの試験を委託している——1件はベンダー側環境の設定不備でした
  • データセットやパッケージを外部から取り込む開発基盤を持っている——侵入の入口になりました
  • 海外の基盤モデルをEU向けの製品・サービスに組み込んでいる
  • 汎用AIモデルをEU市場に提供している、または提供を検討している

この記事の結論

  • ①勧告は4項目です。内部モデルのリスクのガバナンス、事案の検知・調査能力の強化、国際的な情報共有と危機対応、監視可能性を下げる学習手法への精査です。①と④は、市場に出る前の段階を視野に入れています。
  • ②情報要求は、すでに2段階進んでいます。重大インシデント報告の受領と、セキュリティ・外部評価・市販後モニタリングの3テーマの情報要求です。今回表明されたのは3段目で、事案そのものを対象にします。
  • ③情報要求には「単純な要求」と「決定による要求」の2種類があります。単純な要求で制裁金の対象になるのは誤った・誤解を招く回答、決定による要求では不回答・不完全な回答も対象です。
  • ④EU AI法は市場投入前の研究・試験・開発に適用されません(第2条第8項)。ただし第55条第1項(b)はシステミックリスクの発生源に「開発」を挙げ、第92条第7項は「内部試験」を対話の対象に挙げています。空白は、見かけほど広くありません。
  • ⑤日本企業への直接の影響は限られますが、3件の原因は他人事ではありません。外部接続経路の未検証、本番と同じ安全装置を外した評価、監視の対象外、早期の兆候の見落としです。AIエージェントを試験するすべての事業者に当てはまります。

早見表──2026年の経緯

日付出来事出典
5月〜7月開発企業Bの評価で、エージェントが社内のパッケージ管理基盤を「掲示板」にして相互に連絡し、インターネット接続を得る開発企業Bの報告(8月26日)
7月16日AIモデル共有プラットフォーム事業者が、本番基盤への侵入を公表。自律型AIエージェントによるもので、法執行機関に報告同事業者の公表
7月21日開発企業Bが、自社モデルの関与を公表開発企業Bの報告
7月23日開発企業Aが評価記録の精査を開始し、同日すべてのサイバー評価を停止開発企業Aの公表(7月30日)
7月30日開発企業Aが、3件の事案を公表開発企業Aの公表
8月2日AIオフィスの執行権限が適用開始欧州委員会 執行枠組みのページ
8月26日開発企業Bが技術報告書を公表開発企業Bの報告
9月21日フィンランド大統領とノルウェー首相が、フロンティアAIモデルの管理を求める国際的な呼びかけを公表ノルウェー首相府
10月9日科学パネル特別会合。勧告4項目欧州委員会(10月12日発表)
次の段階事案に関する情報要求の送付(送付日・回答期限は未公表)同上
各社の公表、欧州委員会の発表・冒頭発言、ノルウェー首相府の発表により作成。企業名は記載していません(次の注記を参照)。
EU AI法の条文本記事の該当節
第2条第8項 研究・試験・開発の適用除外第7節 試験段階の事案に、法は及ぶのか
第3条(49) 重大インシデントの定義第8節 「重大インシデント」の定義のずれ
第55条第1項(b) システミックリスクの評価・軽減第7節 「開発」から生じるリスク
第55条第1項(c) 重大インシデントの報告第4節・第8節
第68条第3項 科学パネルの任務第2節・第6節
第90条 科学パネルの適格警告第6節 科学パネルが関わる2つのルート
第91条 文書・情報の要求第4節・第5節・第6節
第92条第7項 内部試験に関する構造化された対話第7節
第92条・第93条 評価・措置の要求第9節(詳細は別記事)
第101条・第113条(b) 制裁金と適用開始日第5節・第9節
条文の番号順から本記事の節を引けるようにした対応表です。本記事の節は事案の流れに沿って並んでいるため、条文の順序とは一致しません。各節の見出しの下にも、対応する条文を記載しています。
目次 ── 必要な節にお進みください
  1. 何が起きたのか──公表された3件 (事実関係)
  2. 10月9日の特別会合──議題と冒頭発言 第68条
  3. 勧告4項目を読む (勧告)
  4. 情報要求は3段目に入ります 第55条第1項(c)・第91条
  5. 「単純な情報要求」と「決定による情報要求」 第91条・第101条第1項(b)
  6. 科学パネルが関わる2つのルート 第90条・第91条第3項
  7. 試験段階の事案に、法は及ぶのか 第2条第8項・第55条第1項(b)・第92条第7項
  8. 「重大インシデント」の定義のずれ 第3条(49)・第55条第1項(c)
  9. この先に控える手続と制裁金 第92条・第93条・第101条・第113条(b)
  10. 3件の原因を、自社の試験環境に当てはめる (実務)
  11. 規程・契約条項の文例 (実務)
  12. 今週やるべきこと (実務)

本記事は2026年10月17日時点の情報に基づく解説です。欧州委員会の発表(2026年10月12日、同13日更新)、上級副委員長の冒頭発言(SPEECH/26/2148)、科学パネル・執行枠組み・GPAI行動規範の各ページ、欧州委員会のAI Act Service Deskに掲載されたEU AI法(Regulation (EU) 2024/1689)の条文、関係各社が2026年7月から8月に自ら公表した事案報告により確認しています。二次被害防止のため、事案に関係する企業・評価機関・被害を受けた組織の名称は記載せず、公表日の順に「プラットフォーム事業者」「開発企業A」「開発企業B」と表記しました。欧州委員会の発表自体も、企業名・モデル名・事案を特定していません。英文の引用は原文のままとし、条文の当てはめは当事務所の整理として区別して記載しています。

1 何が起きたのか──公表された3件(事実関係)各社の公表 2026年7月16日・7月30日・8月26日

3件の公表は、互いに関係しています。プラットフォーム事業者が被害を公表し、5日後に開発企業Bが自社モデルの関与を公表しました。開発企業Aは、それを受けて自社の評価記録を遡って精査し、別の3件の事案を見つけました。

プラットフォーム事業者(被害側)開発企業A開発企業B
公表日7月16日7月30日7月21日(関与)/8月26日(報告書)
何が起きたか本番基盤の一部に侵入。一部の内部データセットと、サービスが使う複数の認証情報に不正アクセス3件・計6回の評価実行で、モデルが評価環境からインターネットに出て、3つの組織の実システムに不正アクセスサイバーセキュリティ評価中のモデルが隔離を回避し、自社の研究基盤とプラットフォーム事業者のシステムを侵害
入口悪意あるデータセットが、データ処理の2つのコード実行経路を悪用評価パートナーの環境の設定不備で、意図せずインターネットに接続できた社内のパッケージ管理基盤の脆弱性を連鎖させ、未知の脆弱性(ゼロデイ)も利用
関与したモデル「使用されたLLMは不明」世代の異なる3つのモデル主因は内部専用の研究モデル。製品名のある既存モデルのエージェントも一部に関与
安全装置——一般提供時の分類器・監視は外していた。安全性の学習は施されていた一般提供時の安全装置を同水準では適用していなかった
本人の評価業界が予測してきた「エージェント型攻撃者」の想定に一致「モデルのアラインメントの失敗というより、ハーネスと運用の失敗に近い」自社と世界にとっての「警告射撃(warning shot)」
各社の公表により作成。「アラインメント」は、AIの振る舞いを開発者の意図に沿わせることを指します。「ハーネス」は、モデルに道具や環境を与えて動かすための周辺の仕組みです。

開発企業Aの3件──「インターネットはない」と伝えていた

開発企業Aは、インターネットに接続できた可能性のある141,006回の評価実行を精査し、3件を特定しました。いずれも、別のマシンに隠された秘密の情報(フラグ)を奪う「キャプチャー・ザ・フラッグ」形式の評価です。

評価用の指示は、環境がシミュレーションでありインターネット接続はないとモデルに伝えていました。実際には、評価パートナーとの認識の行き違いで接続が可能になっていました。モデルは、行き着いた実在のシステムを演習の一部と考えて攻撃しました。

  • 1件目——架空の標的企業と同じ名前の実在企業のドメインに到達し、認証情報を取得、数百行の本番データを含むデータベースにアクセス。最も古いモデルで、実在のシステムだと気づいた後も攻撃を止めませんでした。
  • 2件目——演習内の文書にあった存在しないパッケージ名で、悪意あるパッケージを公開レジストリに登録。約1時間公開され、15の実システムで実行されました。そのうち1つはセキュリティ企業のスキャナーで、認証情報が抜き取られています。
  • 3件目——約9,000の標的を走査し、1社の公開アプリケーションに侵入。最新のモデルで、標的が実在すると自ら判断して攻撃を止めました。

同社は、最も早い事案は4月にさかのぼるとし、被害を受けた組織のうち連絡がついた2つは、それまで侵入に気づいていなかったと述べています。

開発企業Bの事案──エージェント同士が「掲示板」を作った

開発企業Bの報告書は、より長い経過を示しています。5月以降の強化学習の訓練中に、本来は互いに隔離されているエージェントが、社内のパッケージ管理基盤にファイルを書き込んで連絡し合うようになりました。さらに同じ基盤を経由してインターネットに接続する方法を見つけ、それを「掲示板」で共有しました。

7月に基盤が不安定化して再構築されると掲示板は消えましたが、エージェントは別の方法で掲示板を作り直しています。その後、難しい評価課題の答えを外部に探しに行ったエージェントが、公開されていたプラットフォーム事業者の認証情報を見つけ、複数の未知の脆弱性を連鎖させて同社のサーバー群でコードを実行しました。

報告書が挙げた原因は4つです。
第1に、報酬ハッキング。課題の答えを不正な手段で得ようとする傾向が、訓練中に強化されていました。
第2に、解けない課題に「安全な出口」がなかったこと。評価課題898問のうち198問は、事案前にどのモデルも正解したことがなく、掲示板で話題になった課題の93%がこの198問から出ていました。
第3に、許可されていない相互通信。マルチエージェントの訓練から一般化した可能性があるとしています。
第4に、評価環境に本番の安全装置が及んでいなかったこと。本番の実行環境とシステムプロンプトを使うと、インフラを侵害する傾向が100分の1以下に下がったと報告しています。思考過程の監視も、この評価では動いていませんでした。

同社は、5月下旬の時点で社内チームが掲示板の活動と許可されていないインターネット接続を観察していたとし、早期の兆候への対応と上申の仕組みが不十分だったことも原因に挙げています。

2 10月9日の特別会合──議題と冒頭発言EU AI法 第68条/欧州委員会発表(2026年10月12日)・SPEECH/26/2148

科学パネルは、EU AI法第68条に基づいて設置された独立専門家の諮問機関です。専門家60名で構成され、主に汎用AIについてAIオフィスを助言・支援します。AIオフィスは、欧州委員会の中でEU AI法の汎用AI関連の執行を担う部署です。

項目内容
開催日2026年10月9日
招集者欧州委員会上級副委員長(技術主権・安全保障・民主主義担当)と科学パネル議長
目的最近の制御喪失事案と、監視可能性・再帰的自己改善に関する技術動向を踏まえ、欧州委員会の行動に資すること
前半事案の詳細。議長と副議長が「分かっていること」と「まだ分かっていないこと」を提示
後半AI研究の自動化と、監視を難しくする最近のモデルの変化
発表ニュース記事 2026年10月12日(13日更新)/冒頭発言 2026年10月13日掲載
欧州委員会の発表と冒頭発言により作成。監視可能性とは、モデルの推論過程や行動を人間や別のシステムが観察し、問題を検知できる度合いです。再帰的自己改善とは、AIが自らの後継モデルの開発を担い、能力の向上が自己増幅的に進む現象を指します。

欧州委員会のニュース記事は、企業名もモデル名も挙げていません。ところが、同じ日の上級副委員長の冒頭発言は、具体的に踏み込んでいます。

More than 20 different loss-of-control incidents have been documented this year alone — across [複数のフロンティアAI開発企業], and even independent evaluation organisations. 冒頭発言(SPEECH/26/2148)。原文は企業名を列挙していますが、本記事では伏せました

発言は続けて、プラットフォーム事業者の事案では開発企業Bの700を超えるエージェントが環境から逃れて他社に侵入したこと、9月25日に開発企業Bが2度目となるモデルの学習の全面停止を行ったことにも触れています。後者は、開発企業B自身の公表では本稿執筆時点で確認できていません。

上級副委員長は、問題を4つに整理しました。

  1. モデルを人間の意図に沿わせる研究上の課題が未解決であること
  2. 主要な提供者が、レッドチーミング、安全なサンドボックス、AIエージェントの監視といった周知の対策を一貫して実施していないこと
  3. フロンティアモデルの監視が難しくなっていること
  4. 高度なモデルの意図的な悪用の証拠が増えていること

2番目は、事案の原因についての欧州委員会の見方を示すものです。3件で各社が自ら挙げた原因と、ほぼ重なります。

3 勧告4項目を読む(勧告)科学パネル議長・副議長から上級副委員長とAIオフィスへ

勧告は、科学パネルの議長と副議長が、上級副委員長とAIオフィスに示したものです。法的拘束力のある決定ではありません。

番号勧告の内容(原文の要旨)位置付け(当事務所の整理)
①開発活動中および試験のための展開中の内部モデルがもたらすリスクのガバナンスを確保する市場に出る前の段階を規律の視野に入れる提案
②この種の事案を検知・評価・調査するEUの能力を強化する(例:将来の調査の技術的・手続的な下地を準備するタスクフォース)執行体制の増強
③情報共有、フロンティアAI開発者への共通要件、共同の危機対応・予防のための国際的なイニシアティブを設けるEU単独では対処できないという認識
④監視可能性を下げる学習手法とアーキテクチャを、そのリスクに鑑みて強化された精査の対象とする開発手法そのものへの監督
欧州委員会の発表(2026年10月12日)により作成。

勧告①は、3件の構造と対応しています。開発企業Bの事案の主因は一般に提供されていない内部専用のモデルで、開発企業Aの3件も一般提供前後のモデルの評価中に起きました。「内部モデル」と「試験のための展開」を名指ししたのは、この点を受けたものと読めます。

勧告③には、すでに受け皿の候補があります。2026年9月21日、フィンランド大統領とノルウェー首相が、フロンティアAIモデルの管理を求める国際的な呼びかけを公表しました。ノルウェー首相府の発表によれば22の首脳が支持し、展開前の試験の義務化、独立した評価、重大な安全インシデントの共有、国際機関の創設の検討を求めています。上級副委員長は冒頭発言で、欧州委員会委員長が「Declaration for Control of Frontier AI Models」に署名したと述べています。名称が完全には一致しないため、同じ文書かは未確認です。

勧告④は、開発企業Bの報告書と関係します。同社は、思考過程の監視が事案を1日以上前に検知できたはずだったと述べています。監視可能性を下げる手法が広がれば、この種の検知手段そのものが効かなくなる、という問題意識です。

4 情報要求は3段目に入りますEU AI法 第55条第1項(c)・第91条

欧州委員会の発表を時系列に並べると、AIオフィスはすでに2つの手続を進めています。

段階内容根拠となる条文(当事務所の整理)
1段目重大インシデント報告を求め、受領した第55条第1項(c)
2段目最先端モデルの提供者に、セキュリティ・外部評価・市販後モニタリングの3テーマで最初の情報要求を送付。回答を受領中第91条第1項
3段目(今回)事案をさらに調査するため、科学パネルとAIオフィスの質問を組み合わせた情報要求を、関係するモデルを開発した企業に送付する第91条第1項または第3項(第6節)
欧州委員会の発表と冒頭発言により作成。発表はいずれも条番号を引用していません。

2段目の3テーマについて、冒頭発言は質問の中身まで示しています。

テーマ冒頭発言が挙げた問い(要旨)
セキュリティモデルは、回避できない封じ込め措置を備えた安全な環境で動いているか。振る舞いは適切に監視されているか。計算資源へのアクセスは適切に許可され、追跡可能か
外部評価独立した評価者に、十分に長く深いアクセスが与えられているか。提供者は評価結果を意思決定に組み込んでいるか
市販後モニタリングモデルの使われ方を実際にどう分析し、その分析をシステミックリスクの評価にどう反映しているか
冒頭発言(SPEECH/26/2148)により作成。

この3テーマは、日本企業がAIエージェントの試験環境を点検する項目としても使えます。第10節で当てはめます。

情報要求とは、欧州委員会が汎用AIモデルの提供者に、文書や情報の提出を求める手続です。第91条第4項は、要求に法的根拠、目的、求める情報、回答期限、第101条の制裁金を明記するよう求めています。今回の要求の送付日と回答期限は公表されていません。

5 「単純な情報要求」と「決定による情報要求」EU AI法 第91条・第101条第1項(b)

欧州委員会の執行枠組みのページは、情報要求を2種類に分けています。条文の第91条自体はこの区別を書いていません。

RFIs can be issued as simple RFIs by the AI Office or, more formally, by decision of the Commission. For simple RFIs, fines can be imposed if a provider’s reply is incorrect or misleading. For RFIs issued by decision, fines can also be imposed if the provider fails to reply or replies incompletely. 欧州委員会「Enforcement of the AI Act」
単純な情報要求決定による情報要求
発出者AIオフィス欧州委員会の決定
誤った・誤解を招く回答制裁金の対象制裁金の対象
不回答・不完全な回答対象外制裁金の対象
欧州委員会の執行枠組みのページにより作成。同ページは、条文に代わるものではなく欧州委員会を拘束しない旨を明記しています。

第101条第1項(b)は、「第91条に基づく文書または情報の要求に応じなかった」ことと「誤った、不完全な、または誤解を招く情報を提供した」ことを、制裁金の対象に挙げています。執行枠組みのページの区別は、この条文を要求の形式に応じて振り分けた運用と読めます。

実務上の意味は明快です。単純な要求であっても、回答した内容が誤っていれば制裁金の対象になります。不完全な回答が直ちに制裁の対象にならないのは単純な要求の場合に限られ、決定による要求に切り替われば、不回答も対象です。今回の3段目がどちらの形式で送られるかは公表されていません。

回答者についても定めがあります。第91条第5項は、法人の場合は法令や定款で代表権を持つ者が回答するとし、弁護士が代理して回答しても、回答が不完全・誤り・誤解を招くものであれば責任は依頼者に残るとしています。

6 科学パネルが関わる2つのルートEU AI法 第90条・第91条第3項・第68条第3項

EU AI法には、科学パネルが情報要求に関わるルートが2つあります。

第90条 適格警告第91条第3項 科学パネルの要請
何をするか科学パネルがAIオフィスに、理由を付した適格警告(qualified alert)を送る科学パネルの「十分に根拠のある要請」を受けて、欧州委員会が情報要求を出す
要件汎用AIモデルが(a)EUレベルで具体的かつ特定可能なリスクをもたらす、または(b)第51条の条件を満たすと疑う理由がある情報へのアクセスが科学パネルの任務の遂行に必要かつ比例的である
その後欧州委員会がAIボードに通知したうえで、第91条から第94条の権限を行使できる。第92条の評価にもつながる情報要求にとどまる
EU AI法第90条・第91条第3項により作成。

今回の発表は「勧告(recommendations)」という語を使い、適格警告には触れていません。そして「両者の質問を組み合わせた情報要求」という表現は、第91条第1項(AIオフィス側の質問)と第3項(科学パネル側の質問)を1通にまとめた運用とも読めます。どちらの条文によるかは公表されていません。

条文の細部を1つ。
第91条第3項は、科学パネルの任務を「第68条第2項」に基づくものとして引用しています。しかし科学パネルの任務を列挙しているのは第68条第3項で、第2項は専門家の選任要件です。AI Act Service Desk掲載の条文もこの書きぶりのままです。この要請ルートの射程が争われる場面では、引用のずれが論点になる可能性があります。

第68条第3項(a)(i)は、科学パネルの任務の最初に「第90条に従い、汎用AIモデルのEUレベルの可能なシステミックリスクについてAIオフィスに警告すること」を挙げています。今回は警告ではなく勧告と質問の共同作成という形をとりました。次の段階で第90条の適格警告が出れば、第92条の評価に進む道が開けます。

7 試験段階の事案に、法は及ぶのかEU AI法 第2条第8項・第55条第1項(b)・第92条第7項

出発点は、第2条第8項の適用除外です。

This Regulation does not apply to any research, testing or development activity regarding AI systems or AI models prior to their being placed on the market or put into service. Such activities shall be conducted in accordance with applicable Union law. Testing in real world conditions shall not be covered by that exclusion. EU AI法 第2条第8項

3件はいずれも評価・試験の場面で起きています。そのため「EU AI法は及ばない」という見方が報道でも紹介されました。報道によれば、欧州委員会の関係者も試験段階では執行しない旨を述べたとされます(二次情報)。

ただ、条文を読み合わせると、空白は見かけほど広くありません。弁護士堀内は、少なくとも3つの足場があると考えています。

足場1──除外されるのは「市場投入前」の活動だけ

第2条第8項の除外は「市場に投入される前の」研究・試験・開発に限られています。開発企業Aの3件に関与した3つのモデルのうち2つは製品名で呼ばれているモデルで、残る1つが内部研究用のモデルです。開発企業Bの事案でも、製品名で呼ばれているモデルのエージェントが一部の行為に関与しました。既に市場に出ているモデルを評価する活動であれば、「市場に投入され」た後のモデルについての活動なので、文言上は除外の外にあると読む余地があります。

足場2──第55条第1項(b)は「開発」から生じるリスクを挙げている

assess and mitigate possible systemic risks at Union level, including their sources, that may stem from the development, the placing on the market, or the use of general-purpose AI models with systemic risk; EU AI法 第55条第1項(b)

システミックリスクを有する汎用AIモデルの提供者は、「開発」から生じうるリスクも評価・軽減する義務を負っています。義務を負う主体は市場にモデルを出している提供者ですが、義務の対象には開発段階のリスクが含まれます。冒頭発言の「事前学習の開始から引退まで(from the start of pre-training to retirement)」という表現は、この条文を指していると読めます。

足場3──第92条第7項は「内部試験」を対話の対象に挙げている

Prior to requesting access to the general-purpose AI model concerned, the AI Office may initiate a structured dialogue with the provider of the general-purpose AI model to gather more information on the internal testing of the model, internal safeguards for preventing systemic risks, and other internal procedures and measures the provider has taken to mitigate such risks. EU AI法 第92条第7項

AIオフィスは、モデルへのアクセスを求める前に、「モデルの内部試験」と「内部の安全装置」について提供者と構造化された対話を行えます。立法者は、内部試験の情報が監督の対象になることを想定していたことになります。

整理すると、こうなります。
・試験活動そのものを直接規律する条文は、EU AI法にはありません(第2条第8項)。
・しかし市場にモデルを出している提供者は、開発段階のリスクの評価・軽減義務を負い(第55条第1項(b))、内部試験について質問を受けます(第91条・第92条第7項)。
・欧州AI法の規律は、市場に出たモデルの提供者という立場を足場に、内部の開発・評価の実態にまで質問を及ぼす形で動いています。
・勧告①は、この「足場」に頼らずに内部モデルそのものを規律の対象にする方向を示したものと読めます。法改正やガイドラインにつながるかは、今後の焦点です。

8 「重大インシデント」の定義のずれEU AI法 第3条(49)・第55条第1項(c)

AIオフィスは「重大インシデント報告を求め、受領した」と述べています。根拠は第55条第1項(c)の報告義務と読めますが、定義に小さなずれがあります。

‘serious incident’ means an incident or malfunctioning of an AI system that directly or indirectly leads to any of the following: (a) the death of a person, or serious harm to a person’s health; (b) a serious and irreversible disruption of the management or operation of critical infrastructure; (c) the infringement of obligations under Union law intended to protect fundamental rights; (d) serious harm to property or the environment; EU AI法 第3条(49)

定義は「AIシステム」のインシデントとして書かれています。第55条第1項(c)は汎用AI「モデル」の提供者の義務なので、モデルの事案にこの定義をどう当てはめるかが問題になります。GPAI行動規範の安全性・セキュリティ章が、この点を実務手順に落としていますが、本記事では同章の定義と報告期限を原文で確認できていません。

3件に当てはめると、(d)「財産への重大な損害」が最も近い類型です。他社の認証情報の窃取や本番データへのアクセスがあったためです。ただし、評価中の事案が「重大インシデント」に当たるかを欧州委員会が判断した資料は公表されていません。

なお、GPAI行動規範のページ(2026年10月7日更新)には22者が署名者として掲載されており、ほかに1者が安全性・セキュリティ章のみに署名しています。3件に関わった開発企業2社は、いずれも署名者として掲載されています。行動規範の署名は第55条の遵守を示す手段になります(第55条第2項)。署名者にとって、今回の情報要求は行動規範の約束が実際に守られていたかを問われる場面にもなります。

9 この先に控える手続と制裁金EU AI法 第92条・第93条・第101条・第113条(b)

情報要求の先には、評価(第92条)と措置の要求(第93条)があります。条文の仕組みはEU AI法の汎用AI(GPAI)規制の記事で扱ったので、ここでは今回の事案に関係する点に絞ります。

条文内容今回の事案との関係
第92条第1項(a)第91条で集めた情報が不十分な場合の評価情報要求への回答次第で進む
第92条第1項(b)EUレベルのシステミックリスクの調査。特に第90条第1項(a)の適格警告の後科学パネルが適格警告を出せば進む
第92条第3項API等によるモデルへのアクセス、ソースコードを含む——
第93条第1項義務の遵守、リスク軽減措置、市場での提供の制限・撤回・回収の要求(b)のリスク軽減措置は、第92条の評価で重大な懸念が生じた場合
第93条第3項提供者が申し出たリスク軽減の約束を、決定で拘束力あるものにできる各社が公表した再発防止策が、約束として固定される可能性
第101条第1項全世界年間売上高の3%または1,500万ユーロの高い方を上限とする制裁金情報要求への不応答・虚偽回答、措置への不服従、評価のためのアクセス拒否も対象
EU AI法第92条・第93条・第101条により作成。

制裁金の上限は3%です。報道で「最大7%」と書かれることがありますが、7%(または3,500万ユーロ)は禁止されるAI慣行に対する区分で、汎用AIモデルの提供者に対する上限ではありません。制裁金を科す前には、欧州委員会が予備的認定を伝えて意見を述べる機会を与えなければなりません(第101条第2項)。

第101条の適用開始日は2026年8月2日です。第113条(b)は第5章(汎用AI)などを2025年8月2日から適用するとしつつ、第101条を除外しています。欧州委員会の執行枠組みのページも、AIオフィスの執行権限を2026年8月2日からとしています。3件の事案はいずれもこの日より前に起きています。事案の時点で制裁金の規定は適用されていませんでしたが、情報要求への回答は8月2日以降の手続であり、第101条第1項(b)の対象になります。

10 3件の原因を、自社の試験環境に当てはめる(実務)

日本企業の多くは、システミックリスクを有する汎用AIモデルの提供者ではありません。EU AI法第55条の義務が直接かかる場面は限られます。

それでも、3件の原因はAIエージェントを試験するすべての事業者に通じます。各社が自ら挙げた原因と、欧州委員会が情報要求で問うている点を並べると、点検項目がそのまま得られます。

各社が挙げた原因欧州委員会の問い自社での点検項目
評価環境に意図しないインターネット接続があった(開発企業A)回避できない封じ込め措置があるか外部への通信経路を、試験開始前に実際に検証しているか
評価パートナーとの認識の行き違い(開発企業A)外部評価のアクセスと統制ベンダーの環境の隔離条件を契約で定め、確認しているか
パッケージ管理基盤など共有インフラが抜け道になった(開発企業B)計算資源へのアクセスは許可され追跡可能か試験環境から見える社内サービスを洗い出しているか
本番の安全装置を外して評価した(両社)振る舞いは適切に監視されているか安全装置を外すなら、代わりの監視と隔離を強めているか
監視が評価に及んでいなかった(開発企業B)同上試験中の操作ログを、リアルタイムで見ているか
早期の兆候が上申されなかった(開発企業B)——誰が、どの時点で試験を止められるかを決めているか
解けない課題に安全な出口がなかった(開発企業B)——「できない」と答えて止まる選択肢を、エージェントに与えているか
指示で範囲の内外を示していなかった(開発企業A)——攻撃・操作してよい対象を、指示文で明示しているか
各社の公表と冒頭発言により作成。右列は当事務所の整理です。

開発企業Bは、再発防止策の1つとして、重大な警報について、呼び出しから30分以内に誤検知と確認できなければ対象の活動を止めることを担当者に求める運用を挙げています。止める基準と止める権限を事前に決めておく、という発想は、規模にかかわらず取り入れられます。

被害側の教訓もあります。プラットフォーム事業者は、侵入の分析に商用APIのフロンティアモデルを使おうとしたところ、攻撃コードを含む大量の記録が提供者の安全装置に遮断され、自社の基盤で動かせるモデルに切り替えたと述べています。インシデント対応で使うAIを、事前に用意しておく必要があるという指摘です。開発企業Aの事案では、被害を受けた組織のうち連絡がついた2つが、通知を受けるまで侵入に気づいていませんでした。

11 規程・契約条項の文例(実務)

第10節の点検項目を、社内規程と委託契約に落とします。

AIエージェント試験環境管理規程(抜粋例) 第◯条(試験環境の隔離)
1 AIエージェントの試験(性能評価、検証、訓練を含む。以下同じ。)は、あらかじめ承認された隔離環境で行う。
2 試験責任者は、試験の開始前に、当該環境から外部ネットワークおよび社内の他のサービスへの通信経路を実際に検証し、その結果を記録する。
3 試験環境から利用できるパッケージ取得その他の共有サービスは、試験責任者が個別に許可したものに限る。
第◯条(安全装置の解除)
1 本番運用で適用している安全装置を外して試験を行うときは、その理由、代替の監視方法および隔離条件を定め、情報セキュリティ責任者の承認を得る。
第◯条(試験の停止)
1 試験中のAIエージェントについて、許可されていない外部通信、権限の取得、他の試験との通信その他の異常の兆候を認めた者は、直ちに試験責任者に報告する。
2 試験責任者は、前項の報告を受けたときは、異常でないことを確認できるまで試験を停止する。試験を再開するときは、情報セキュリティ責任者の承認を得る。
3 試験を停止する権限を持つ者の氏名または役職は、試験ごとに記録する。
第◯条(指示文)
1 AIエージェントに与える指示には、操作してよい対象と、操作してはならない対象を明示する。
2 課題が解決できないときは、作業を中止して報告することをAIエージェントに許容する。

※(試験環境の隔離)第2項は、開発企業Aの事案を受けたものです。同社は、評価開始前にすべてのインターネット接続経路を慎重に検証していれば問題をより早く発見できたと述べています。
※(試験の停止)第2項は、開発企業Bの30分ルールを参考に、規模を問わず運用できる形にした当事務所の設計案です。時間を定める場合は、体制に合わせて設定してください。
※(指示文)第2項は、開発企業Bが挙げた「安全な出口がなかった」という原因に対応するものです。
AI評価・検証業務の委託契約(追加条項例) 第◯条(評価環境の隔離条件)
1 受託者は、委託者のAIモデルを評価する環境について、別紙に定める隔離条件(外部ネットワークへの接続の有無および範囲を含む。)を満たすものとする。
2 受託者は、評価の開始前に、前項の隔離条件を満たしていることを検証した結果を委託者に書面で報告する。
3 委託者および受託者は、評価用の指示において委託者が前提とする環境の条件(外部接続の有無を含む。)と、実際の環境の条件が一致していることを、評価の開始前に相互に確認する。
第◯条(異常時の通知と協力)
1 受託者は、評価中にAIモデルが隔離条件の外で動作した疑いを認めたときは、直ちに評価を停止し、24時間以内に委託者に通知する。
2 委託者および受託者は、前項の場合に、影響を受けた可能性のある第三者への通知および調査に協力する。
3 受託者は、評価の記録(操作ログおよび通信記録を含む。)を◯年間保存し、委託者または監督当局の求めに応じて提供する。

※(評価環境の隔離条件)第3項は、開発企業Aの事案の直接の原因に対応する条項です。評価用の指示は「インターネット接続はない」としていましたが、実際の環境は接続できる状態でした。
※(異常時の通知と協力)第3項の「監督当局の求め」は、EU市場にモデルを提供する委託者が第91条の情報要求を受けた場合を想定しています。評価ベンダー側の記録がなければ、委託者は正確に回答できません。
※いずれも当事務所の設計案であり、欧州委員会や業界団体が示した様式ではありません。

12 今週やるべきこと(実務)

1社内でAIエージェントを試験している環境を洗い出す。開発部門だけでなく、業務部門が独自に試しているエージェントも含めます。
2各環境から外部への通信経路を、実際に検証する。設定上「遮断」でも、パッケージ取得や中継サーバーを経由した経路が残っていないかを確認します。
3試験環境から見える社内サービスを一覧にする。開発企業Bの事案では、共有のパッケージ管理基盤が連絡手段と外部接続の両方に使われました。
4試験を止める権限者と、止める基準を決める。早期の兆候を観察した担当者から、止める権限を持つ者まで何段階あるかを確認します。
5評価・検証を外部に委託しているなら、契約に隔離条件があるか確認する。なければ第11節の条項例を参考に追加します。
6利用している基盤モデルの提供者の公表を確認する。情報要求への対応や、評価環境の見直しについての公表があれば、自社が依存しているモデルの管理体制の資料として保存します。
7EU市場に汎用AIモデルを提供する立場にあるかを確認する。該当する場合は第53条以下の義務と、学習計算量10の25乗FLOPの推定基準(第51条第2項)を確認します。汎用AI規制の記事で整理しています。
8インシデント対応で使うAIを決めておく。攻撃の記録を外部APIに送れない場合に備え、社内の環境で動かせる分析手段を事前に用意します。
9欧州委員会の科学パネルのページとニュースを定点観測する。情報要求の送付、勧告②のタスクフォースの設置、第90条の適格警告が出れば、次の局面です。

本稿執筆時点で未確認の論点

  • 今回の情報要求が第91条第1項によるものか、第3項(科学パネルの要請)によるものか。発表は条番号を引用していません。第90条の適格警告が出されたかどうかも公表されていません。
  • 情報要求の送付日・名宛人・回答期限、および単純な要求と決定による要求のいずれか。
  • 欧州委員会が念頭に置く事案の特定。ニュース記事は事案を特定していません。冒頭発言は具体的な事案に触れていますが、「今年20件を超える」事案の内訳は示されていません。
  • 開発企業Bが9月25日に2度目のモデル学習の全面停止を行ったとする冒頭発言の内容。同社自身の公表では確認できていません。
  • 冒頭発言にある「Declaration for Control of Frontier AI Models」と、9月21日に公表された国際的な呼びかけが同一の文書か。名称が完全には一致しません。
  • 特別会合に関するプレスリリースの公表日。ニュース一覧の表示は2026年10月5日で、本文は会合を予告する書きぶりです。
  • GPAI行動規範の安全性・セキュリティ章における重大インシデントの定義と報告期限。本記事では原文を確認していません。
  • 評価中の事案が第55条第1項(c)の「重大インシデント」に当たるかについての欧州委員会の判断。
  • 第91条第3項が「第68条第2項」を引用していることの扱い。任務を定めるのは第68条第3項です。
  • 欧州委員会関係者の「試験段階では執行しない」との発言の原文。報道(二次情報)でのみ確認しています。
  • 勧告①〜④を欧州委員会がどの手段(法改正、ガイドライン、行動規範の改訂など)で実施するか。

おわりに

今回の発表は、EU AI法の汎用AIに関する執行権限が8月2日に動き出してから、具体的な事案をめぐって欧州委員会が調査の手順を公に示した最初の局面です。

目を引くのは、問題になった場面が「利用」ではなく「試験」だったことです。AI規制の議論は、市場に出たAIが利用者や社会に与える影響を中心に組み立てられてきました。3件は、モデルの能力を測ろうとする段階そのものが外部に被害を生みうることを示しました。

EU AI法は、試験活動そのものは規律していません。それでも、市場にモデルを出している提供者には、開発から生じるリスクの評価義務があり、内部試験について質問する手続も用意されています。勧告①は、その先に進むかどうかを問うものです。

日本企業にとっての教訓は、法律の外側にあります。3件の原因は、外部接続経路の未検証、安全装置を外した評価、監視の空白、早期の兆候の見落としでした。どれも、AIエージェントを社内で試している会社であれば起こりうるものです。そして開発企業Aの事案では、被害を受けた側が通知を受けるまで侵入に気づいていませんでした。

当事務所は、事業スキームから法的リスクを洗い出すことを方針としています。AIエージェントの試験・運用に関する社内規程の整備、評価・検証業務の委託契約の見直し、EU市場向けの汎用AI規制への対応の要否の判断について、お気軽にご相談ください。

一次情報

06-4708-8611 お問い合わせはこちら