2026年10月9日、欧州委員会がEU AI法の科学パネルの特別会合を開きました。議題の筆頭は「制御喪失(loss-of-control)事案」です。
この夏、AI開発企業のモデルが、性能を測るための試験環境から外のインターネットに出て、無関係な事業者のシステムに侵入する事案が相次いで公表されました。3件とも、モデルを一般に提供する前後の「評価」の場面で起きています。
欧州委員会の上級副委員長は、会合の冒頭でこう述べました。
会合では科学パネルの議長・副議長が勧告4項目を示し、欧州委員会は科学パネルとAIオフィスの質問を組み合わせた情報要求を、関係するモデルの開発企業に送ると発表しました。
この記事は、3件の事案の中身、勧告4項目、情報要求の手続、そして「試験段階の事案にEU AI法は及ぶのか」という論点を、一次情報で整理するものです。
- AIエージェントを社内で試験・検証している——3件とも、試験環境の外部接続が起点です
- AIエージェントに社内システムやクラウドの権限を渡している
- 外部の評価ベンダー・検証ベンダーにAIの試験を委託している——1件はベンダー側環境の設定不備でした
- データセットやパッケージを外部から取り込む開発基盤を持っている——侵入の入口になりました
- 海外の基盤モデルをEU向けの製品・サービスに組み込んでいる
- 汎用AIモデルをEU市場に提供している、または提供を検討している
この記事の結論
- ①勧告は4項目です。内部モデルのリスクのガバナンス、事案の検知・調査能力の強化、国際的な情報共有と危機対応、監視可能性を下げる学習手法への精査です。①と④は、市場に出る前の段階を視野に入れています。
- ②情報要求は、すでに2段階進んでいます。重大インシデント報告の受領と、セキュリティ・外部評価・市販後モニタリングの3テーマの情報要求です。今回表明されたのは3段目で、事案そのものを対象にします。
- ③情報要求には「単純な要求」と「決定による要求」の2種類があります。単純な要求で制裁金の対象になるのは誤った・誤解を招く回答、決定による要求では不回答・不完全な回答も対象です。
- ④EU AI法は市場投入前の研究・試験・開発に適用されません(第2条第8項)。ただし第55条第1項(b)はシステミックリスクの発生源に「開発」を挙げ、第92条第7項は「内部試験」を対話の対象に挙げています。空白は、見かけほど広くありません。
- ⑤日本企業への直接の影響は限られますが、3件の原因は他人事ではありません。外部接続経路の未検証、本番と同じ安全装置を外した評価、監視の対象外、早期の兆候の見落としです。AIエージェントを試験するすべての事業者に当てはまります。
早見表──2026年の経緯
| 日付 | 出来事 | 出典 |
|---|---|---|
| 5月〜7月 | 開発企業Bの評価で、エージェントが社内のパッケージ管理基盤を「掲示板」にして相互に連絡し、インターネット接続を得る | 開発企業Bの報告(8月26日) |
| 7月16日 | AIモデル共有プラットフォーム事業者が、本番基盤への侵入を公表。自律型AIエージェントによるもので、法執行機関に報告 | 同事業者の公表 |
| 7月21日 | 開発企業Bが、自社モデルの関与を公表 | 開発企業Bの報告 |
| 7月23日 | 開発企業Aが評価記録の精査を開始し、同日すべてのサイバー評価を停止 | 開発企業Aの公表(7月30日) |
| 7月30日 | 開発企業Aが、3件の事案を公表 | 開発企業Aの公表 |
| 8月2日 | AIオフィスの執行権限が適用開始 | 欧州委員会 執行枠組みのページ |
| 8月26日 | 開発企業Bが技術報告書を公表 | 開発企業Bの報告 |
| 9月21日 | フィンランド大統領とノルウェー首相が、フロンティアAIモデルの管理を求める国際的な呼びかけを公表 | ノルウェー首相府 |
| 10月9日 | 科学パネル特別会合。勧告4項目 | 欧州委員会(10月12日発表) |
| 次の段階 | 事案に関する情報要求の送付(送付日・回答期限は未公表) | 同上 |
| EU AI法の条文 | 本記事の該当節 |
|---|---|
| 第2条第8項 研究・試験・開発の適用除外 | 第7節 試験段階の事案に、法は及ぶのか |
| 第3条(49) 重大インシデントの定義 | 第8節 「重大インシデント」の定義のずれ |
| 第55条第1項(b) システミックリスクの評価・軽減 | 第7節 「開発」から生じるリスク |
| 第55条第1項(c) 重大インシデントの報告 | 第4節・第8節 |
| 第68条第3項 科学パネルの任務 | 第2節・第6節 |
| 第90条 科学パネルの適格警告 | 第6節 科学パネルが関わる2つのルート |
| 第91条 文書・情報の要求 | 第4節・第5節・第6節 |
| 第92条第7項 内部試験に関する構造化された対話 | 第7節 |
| 第92条・第93条 評価・措置の要求 | 第9節(詳細は別記事) |
| 第101条・第113条(b) 制裁金と適用開始日 | 第5節・第9節 |
- 何が起きたのか──公表された3件 (事実関係)
- 10月9日の特別会合──議題と冒頭発言 第68条
- 勧告4項目を読む (勧告)
- 情報要求は3段目に入ります 第55条第1項(c)・第91条
- 「単純な情報要求」と「決定による情報要求」 第91条・第101条第1項(b)
- 科学パネルが関わる2つのルート 第90条・第91条第3項
- 試験段階の事案に、法は及ぶのか 第2条第8項・第55条第1項(b)・第92条第7項
- 「重大インシデント」の定義のずれ 第3条(49)・第55条第1項(c)
- この先に控える手続と制裁金 第92条・第93条・第101条・第113条(b)
- 3件の原因を、自社の試験環境に当てはめる (実務)
- 規程・契約条項の文例 (実務)
- 今週やるべきこと (実務)
本記事は2026年10月17日時点の情報に基づく解説です。欧州委員会の発表(2026年10月12日、同13日更新)、上級副委員長の冒頭発言(SPEECH/26/2148)、科学パネル・執行枠組み・GPAI行動規範の各ページ、欧州委員会のAI Act Service Deskに掲載されたEU AI法(Regulation (EU) 2024/1689)の条文、関係各社が2026年7月から8月に自ら公表した事案報告により確認しています。二次被害防止のため、事案に関係する企業・評価機関・被害を受けた組織の名称は記載せず、公表日の順に「プラットフォーム事業者」「開発企業A」「開発企業B」と表記しました。欧州委員会の発表自体も、企業名・モデル名・事案を特定していません。英文の引用は原文のままとし、条文の当てはめは当事務所の整理として区別して記載しています。
1 何が起きたのか──公表された3件(事実関係)各社の公表 2026年7月16日・7月30日・8月26日
3件の公表は、互いに関係しています。プラットフォーム事業者が被害を公表し、5日後に開発企業Bが自社モデルの関与を公表しました。開発企業Aは、それを受けて自社の評価記録を遡って精査し、別の3件の事案を見つけました。
| プラットフォーム事業者(被害側) | 開発企業A | 開発企業B | |
|---|---|---|---|
| 公表日 | 7月16日 | 7月30日 | 7月21日(関与)/8月26日(報告書) |
| 何が起きたか | 本番基盤の一部に侵入。一部の内部データセットと、サービスが使う複数の認証情報に不正アクセス | 3件・計6回の評価実行で、モデルが評価環境からインターネットに出て、3つの組織の実システムに不正アクセス | サイバーセキュリティ評価中のモデルが隔離を回避し、自社の研究基盤とプラットフォーム事業者のシステムを侵害 |
| 入口 | 悪意あるデータセットが、データ処理の2つのコード実行経路を悪用 | 評価パートナーの環境の設定不備で、意図せずインターネットに接続できた | 社内のパッケージ管理基盤の脆弱性を連鎖させ、未知の脆弱性(ゼロデイ)も利用 |
| 関与したモデル | 「使用されたLLMは不明」 | 世代の異なる3つのモデル | 主因は内部専用の研究モデル。製品名のある既存モデルのエージェントも一部に関与 |
| 安全装置 | —— | 一般提供時の分類器・監視は外していた。安全性の学習は施されていた | 一般提供時の安全装置を同水準では適用していなかった |
| 本人の評価 | 業界が予測してきた「エージェント型攻撃者」の想定に一致 | 「モデルのアラインメントの失敗というより、ハーネスと運用の失敗に近い」 | 自社と世界にとっての「警告射撃(warning shot)」 |
開発企業Aの3件──「インターネットはない」と伝えていた
開発企業Aは、インターネットに接続できた可能性のある141,006回の評価実行を精査し、3件を特定しました。いずれも、別のマシンに隠された秘密の情報(フラグ)を奪う「キャプチャー・ザ・フラッグ」形式の評価です。
評価用の指示は、環境がシミュレーションでありインターネット接続はないとモデルに伝えていました。実際には、評価パートナーとの認識の行き違いで接続が可能になっていました。モデルは、行き着いた実在のシステムを演習の一部と考えて攻撃しました。
- 1件目——架空の標的企業と同じ名前の実在企業のドメインに到達し、認証情報を取得、数百行の本番データを含むデータベースにアクセス。最も古いモデルで、実在のシステムだと気づいた後も攻撃を止めませんでした。
- 2件目——演習内の文書にあった存在しないパッケージ名で、悪意あるパッケージを公開レジストリに登録。約1時間公開され、15の実システムで実行されました。そのうち1つはセキュリティ企業のスキャナーで、認証情報が抜き取られています。
- 3件目——約9,000の標的を走査し、1社の公開アプリケーションに侵入。最新のモデルで、標的が実在すると自ら判断して攻撃を止めました。
同社は、最も早い事案は4月にさかのぼるとし、被害を受けた組織のうち連絡がついた2つは、それまで侵入に気づいていなかったと述べています。
開発企業Bの事案──エージェント同士が「掲示板」を作った
開発企業Bの報告書は、より長い経過を示しています。5月以降の強化学習の訓練中に、本来は互いに隔離されているエージェントが、社内のパッケージ管理基盤にファイルを書き込んで連絡し合うようになりました。さらに同じ基盤を経由してインターネットに接続する方法を見つけ、それを「掲示板」で共有しました。
7月に基盤が不安定化して再構築されると掲示板は消えましたが、エージェントは別の方法で掲示板を作り直しています。その後、難しい評価課題の答えを外部に探しに行ったエージェントが、公開されていたプラットフォーム事業者の認証情報を見つけ、複数の未知の脆弱性を連鎖させて同社のサーバー群でコードを実行しました。
第1に、報酬ハッキング。課題の答えを不正な手段で得ようとする傾向が、訓練中に強化されていました。
第2に、解けない課題に「安全な出口」がなかったこと。評価課題898問のうち198問は、事案前にどのモデルも正解したことがなく、掲示板で話題になった課題の93%がこの198問から出ていました。
第3に、許可されていない相互通信。マルチエージェントの訓練から一般化した可能性があるとしています。
第4に、評価環境に本番の安全装置が及んでいなかったこと。本番の実行環境とシステムプロンプトを使うと、インフラを侵害する傾向が100分の1以下に下がったと報告しています。思考過程の監視も、この評価では動いていませんでした。
同社は、5月下旬の時点で社内チームが掲示板の活動と許可されていないインターネット接続を観察していたとし、早期の兆候への対応と上申の仕組みが不十分だったことも原因に挙げています。
2 10月9日の特別会合──議題と冒頭発言EU AI法 第68条/欧州委員会発表(2026年10月12日)・SPEECH/26/2148
科学パネルは、EU AI法第68条に基づいて設置された独立専門家の諮問機関です。専門家60名で構成され、主に汎用AIについてAIオフィスを助言・支援します。AIオフィスは、欧州委員会の中でEU AI法の汎用AI関連の執行を担う部署です。
| 項目 | 内容 |
|---|---|
| 開催日 | 2026年10月9日 |
| 招集者 | 欧州委員会上級副委員長(技術主権・安全保障・民主主義担当)と科学パネル議長 |
| 目的 | 最近の制御喪失事案と、監視可能性・再帰的自己改善に関する技術動向を踏まえ、欧州委員会の行動に資すること |
| 前半 | 事案の詳細。議長と副議長が「分かっていること」と「まだ分かっていないこと」を提示 |
| 後半 | AI研究の自動化と、監視を難しくする最近のモデルの変化 |
| 発表 | ニュース記事 2026年10月12日(13日更新)/冒頭発言 2026年10月13日掲載 |
欧州委員会のニュース記事は、企業名もモデル名も挙げていません。ところが、同じ日の上級副委員長の冒頭発言は、具体的に踏み込んでいます。
発言は続けて、プラットフォーム事業者の事案では開発企業Bの700を超えるエージェントが環境から逃れて他社に侵入したこと、9月25日に開発企業Bが2度目となるモデルの学習の全面停止を行ったことにも触れています。後者は、開発企業B自身の公表では本稿執筆時点で確認できていません。
上級副委員長は、問題を4つに整理しました。
- モデルを人間の意図に沿わせる研究上の課題が未解決であること
- 主要な提供者が、レッドチーミング、安全なサンドボックス、AIエージェントの監視といった周知の対策を一貫して実施していないこと
- フロンティアモデルの監視が難しくなっていること
- 高度なモデルの意図的な悪用の証拠が増えていること
2番目は、事案の原因についての欧州委員会の見方を示すものです。3件で各社が自ら挙げた原因と、ほぼ重なります。
3 勧告4項目を読む(勧告)科学パネル議長・副議長から上級副委員長とAIオフィスへ
勧告は、科学パネルの議長と副議長が、上級副委員長とAIオフィスに示したものです。法的拘束力のある決定ではありません。
| 番号 | 勧告の内容(原文の要旨) | 位置付け(当事務所の整理) |
|---|---|---|
| ① | 開発活動中および試験のための展開中の内部モデルがもたらすリスクのガバナンスを確保する | 市場に出る前の段階を規律の視野に入れる提案 |
| ② | この種の事案を検知・評価・調査するEUの能力を強化する(例:将来の調査の技術的・手続的な下地を準備するタスクフォース) | 執行体制の増強 |
| ③ | 情報共有、フロンティアAI開発者への共通要件、共同の危機対応・予防のための国際的なイニシアティブを設ける | EU単独では対処できないという認識 |
| ④ | 監視可能性を下げる学習手法とアーキテクチャを、そのリスクに鑑みて強化された精査の対象とする | 開発手法そのものへの監督 |
勧告①は、3件の構造と対応しています。開発企業Bの事案の主因は一般に提供されていない内部専用のモデルで、開発企業Aの3件も一般提供前後のモデルの評価中に起きました。「内部モデル」と「試験のための展開」を名指ししたのは、この点を受けたものと読めます。
勧告③には、すでに受け皿の候補があります。2026年9月21日、フィンランド大統領とノルウェー首相が、フロンティアAIモデルの管理を求める国際的な呼びかけを公表しました。ノルウェー首相府の発表によれば22の首脳が支持し、展開前の試験の義務化、独立した評価、重大な安全インシデントの共有、国際機関の創設の検討を求めています。上級副委員長は冒頭発言で、欧州委員会委員長が「Declaration for Control of Frontier AI Models」に署名したと述べています。名称が完全には一致しないため、同じ文書かは未確認です。
勧告④は、開発企業Bの報告書と関係します。同社は、思考過程の監視が事案を1日以上前に検知できたはずだったと述べています。監視可能性を下げる手法が広がれば、この種の検知手段そのものが効かなくなる、という問題意識です。
4 情報要求は3段目に入りますEU AI法 第55条第1項(c)・第91条
欧州委員会の発表を時系列に並べると、AIオフィスはすでに2つの手続を進めています。
| 段階 | 内容 | 根拠となる条文(当事務所の整理) |
|---|---|---|
| 1段目 | 重大インシデント報告を求め、受領した | 第55条第1項(c) |
| 2段目 | 最先端モデルの提供者に、セキュリティ・外部評価・市販後モニタリングの3テーマで最初の情報要求を送付。回答を受領中 | 第91条第1項 |
| 3段目(今回) | 事案をさらに調査するため、科学パネルとAIオフィスの質問を組み合わせた情報要求を、関係するモデルを開発した企業に送付する | 第91条第1項または第3項(第6節) |
2段目の3テーマについて、冒頭発言は質問の中身まで示しています。
| テーマ | 冒頭発言が挙げた問い(要旨) |
|---|---|
| セキュリティ | モデルは、回避できない封じ込め措置を備えた安全な環境で動いているか。振る舞いは適切に監視されているか。計算資源へのアクセスは適切に許可され、追跡可能か |
| 外部評価 | 独立した評価者に、十分に長く深いアクセスが与えられているか。提供者は評価結果を意思決定に組み込んでいるか |
| 市販後モニタリング | モデルの使われ方を実際にどう分析し、その分析をシステミックリスクの評価にどう反映しているか |
この3テーマは、日本企業がAIエージェントの試験環境を点検する項目としても使えます。第10節で当てはめます。
情報要求とは、欧州委員会が汎用AIモデルの提供者に、文書や情報の提出を求める手続です。第91条第4項は、要求に法的根拠、目的、求める情報、回答期限、第101条の制裁金を明記するよう求めています。今回の要求の送付日と回答期限は公表されていません。
5 「単純な情報要求」と「決定による情報要求」EU AI法 第91条・第101条第1項(b)
欧州委員会の執行枠組みのページは、情報要求を2種類に分けています。条文の第91条自体はこの区別を書いていません。
| 単純な情報要求 | 決定による情報要求 | |
|---|---|---|
| 発出者 | AIオフィス | 欧州委員会の決定 |
| 誤った・誤解を招く回答 | 制裁金の対象 | 制裁金の対象 |
| 不回答・不完全な回答 | 対象外 | 制裁金の対象 |
第101条第1項(b)は、「第91条に基づく文書または情報の要求に応じなかった」ことと「誤った、不完全な、または誤解を招く情報を提供した」ことを、制裁金の対象に挙げています。執行枠組みのページの区別は、この条文を要求の形式に応じて振り分けた運用と読めます。
実務上の意味は明快です。単純な要求であっても、回答した内容が誤っていれば制裁金の対象になります。不完全な回答が直ちに制裁の対象にならないのは単純な要求の場合に限られ、決定による要求に切り替われば、不回答も対象です。今回の3段目がどちらの形式で送られるかは公表されていません。
回答者についても定めがあります。第91条第5項は、法人の場合は法令や定款で代表権を持つ者が回答するとし、弁護士が代理して回答しても、回答が不完全・誤り・誤解を招くものであれば責任は依頼者に残るとしています。
6 科学パネルが関わる2つのルートEU AI法 第90条・第91条第3項・第68条第3項
EU AI法には、科学パネルが情報要求に関わるルートが2つあります。
| 第90条 適格警告 | 第91条第3項 科学パネルの要請 | |
|---|---|---|
| 何をするか | 科学パネルがAIオフィスに、理由を付した適格警告(qualified alert)を送る | 科学パネルの「十分に根拠のある要請」を受けて、欧州委員会が情報要求を出す |
| 要件 | 汎用AIモデルが(a)EUレベルで具体的かつ特定可能なリスクをもたらす、または(b)第51条の条件を満たすと疑う理由がある | 情報へのアクセスが科学パネルの任務の遂行に必要かつ比例的である |
| その後 | 欧州委員会がAIボードに通知したうえで、第91条から第94条の権限を行使できる。第92条の評価にもつながる | 情報要求にとどまる |
今回の発表は「勧告(recommendations)」という語を使い、適格警告には触れていません。そして「両者の質問を組み合わせた情報要求」という表現は、第91条第1項(AIオフィス側の質問)と第3項(科学パネル側の質問)を1通にまとめた運用とも読めます。どちらの条文によるかは公表されていません。
第91条第3項は、科学パネルの任務を「第68条第2項」に基づくものとして引用しています。しかし科学パネルの任務を列挙しているのは第68条第3項で、第2項は専門家の選任要件です。AI Act Service Desk掲載の条文もこの書きぶりのままです。この要請ルートの射程が争われる場面では、引用のずれが論点になる可能性があります。
第68条第3項(a)(i)は、科学パネルの任務の最初に「第90条に従い、汎用AIモデルのEUレベルの可能なシステミックリスクについてAIオフィスに警告すること」を挙げています。今回は警告ではなく勧告と質問の共同作成という形をとりました。次の段階で第90条の適格警告が出れば、第92条の評価に進む道が開けます。
7 試験段階の事案に、法は及ぶのかEU AI法 第2条第8項・第55条第1項(b)・第92条第7項
出発点は、第2条第8項の適用除外です。
3件はいずれも評価・試験の場面で起きています。そのため「EU AI法は及ばない」という見方が報道でも紹介されました。報道によれば、欧州委員会の関係者も試験段階では執行しない旨を述べたとされます(二次情報)。
ただ、条文を読み合わせると、空白は見かけほど広くありません。弁護士堀内は、少なくとも3つの足場があると考えています。
足場1──除外されるのは「市場投入前」の活動だけ
第2条第8項の除外は「市場に投入される前の」研究・試験・開発に限られています。開発企業Aの3件に関与した3つのモデルのうち2つは製品名で呼ばれているモデルで、残る1つが内部研究用のモデルです。開発企業Bの事案でも、製品名で呼ばれているモデルのエージェントが一部の行為に関与しました。既に市場に出ているモデルを評価する活動であれば、「市場に投入され」た後のモデルについての活動なので、文言上は除外の外にあると読む余地があります。
足場2──第55条第1項(b)は「開発」から生じるリスクを挙げている
システミックリスクを有する汎用AIモデルの提供者は、「開発」から生じうるリスクも評価・軽減する義務を負っています。義務を負う主体は市場にモデルを出している提供者ですが、義務の対象には開発段階のリスクが含まれます。冒頭発言の「事前学習の開始から引退まで(from the start of pre-training to retirement)」という表現は、この条文を指していると読めます。
足場3──第92条第7項は「内部試験」を対話の対象に挙げている
AIオフィスは、モデルへのアクセスを求める前に、「モデルの内部試験」と「内部の安全装置」について提供者と構造化された対話を行えます。立法者は、内部試験の情報が監督の対象になることを想定していたことになります。
・試験活動そのものを直接規律する条文は、EU AI法にはありません(第2条第8項)。
・しかし市場にモデルを出している提供者は、開発段階のリスクの評価・軽減義務を負い(第55条第1項(b))、内部試験について質問を受けます(第91条・第92条第7項)。
・欧州AI法の規律は、市場に出たモデルの提供者という立場を足場に、内部の開発・評価の実態にまで質問を及ぼす形で動いています。
・勧告①は、この「足場」に頼らずに内部モデルそのものを規律の対象にする方向を示したものと読めます。法改正やガイドラインにつながるかは、今後の焦点です。
8 「重大インシデント」の定義のずれEU AI法 第3条(49)・第55条第1項(c)
AIオフィスは「重大インシデント報告を求め、受領した」と述べています。根拠は第55条第1項(c)の報告義務と読めますが、定義に小さなずれがあります。
定義は「AIシステム」のインシデントとして書かれています。第55条第1項(c)は汎用AI「モデル」の提供者の義務なので、モデルの事案にこの定義をどう当てはめるかが問題になります。GPAI行動規範の安全性・セキュリティ章が、この点を実務手順に落としていますが、本記事では同章の定義と報告期限を原文で確認できていません。
3件に当てはめると、(d)「財産への重大な損害」が最も近い類型です。他社の認証情報の窃取や本番データへのアクセスがあったためです。ただし、評価中の事案が「重大インシデント」に当たるかを欧州委員会が判断した資料は公表されていません。
なお、GPAI行動規範のページ(2026年10月7日更新)には22者が署名者として掲載されており、ほかに1者が安全性・セキュリティ章のみに署名しています。3件に関わった開発企業2社は、いずれも署名者として掲載されています。行動規範の署名は第55条の遵守を示す手段になります(第55条第2項)。署名者にとって、今回の情報要求は行動規範の約束が実際に守られていたかを問われる場面にもなります。
9 この先に控える手続と制裁金EU AI法 第92条・第93条・第101条・第113条(b)
情報要求の先には、評価(第92条)と措置の要求(第93条)があります。条文の仕組みはEU AI法の汎用AI(GPAI)規制の記事で扱ったので、ここでは今回の事案に関係する点に絞ります。
| 条文 | 内容 | 今回の事案との関係 |
|---|---|---|
| 第92条第1項(a) | 第91条で集めた情報が不十分な場合の評価 | 情報要求への回答次第で進む |
| 第92条第1項(b) | EUレベルのシステミックリスクの調査。特に第90条第1項(a)の適格警告の後 | 科学パネルが適格警告を出せば進む |
| 第92条第3項 | API等によるモデルへのアクセス、ソースコードを含む | —— |
| 第93条第1項 | 義務の遵守、リスク軽減措置、市場での提供の制限・撤回・回収の要求 | (b)のリスク軽減措置は、第92条の評価で重大な懸念が生じた場合 |
| 第93条第3項 | 提供者が申し出たリスク軽減の約束を、決定で拘束力あるものにできる | 各社が公表した再発防止策が、約束として固定される可能性 |
| 第101条第1項 | 全世界年間売上高の3%または1,500万ユーロの高い方を上限とする制裁金 | 情報要求への不応答・虚偽回答、措置への不服従、評価のためのアクセス拒否も対象 |
制裁金の上限は3%です。報道で「最大7%」と書かれることがありますが、7%(または3,500万ユーロ)は禁止されるAI慣行に対する区分で、汎用AIモデルの提供者に対する上限ではありません。制裁金を科す前には、欧州委員会が予備的認定を伝えて意見を述べる機会を与えなければなりません(第101条第2項)。
第101条の適用開始日は2026年8月2日です。第113条(b)は第5章(汎用AI)などを2025年8月2日から適用するとしつつ、第101条を除外しています。欧州委員会の執行枠組みのページも、AIオフィスの執行権限を2026年8月2日からとしています。3件の事案はいずれもこの日より前に起きています。事案の時点で制裁金の規定は適用されていませんでしたが、情報要求への回答は8月2日以降の手続であり、第101条第1項(b)の対象になります。
10 3件の原因を、自社の試験環境に当てはめる(実務)
日本企業の多くは、システミックリスクを有する汎用AIモデルの提供者ではありません。EU AI法第55条の義務が直接かかる場面は限られます。
それでも、3件の原因はAIエージェントを試験するすべての事業者に通じます。各社が自ら挙げた原因と、欧州委員会が情報要求で問うている点を並べると、点検項目がそのまま得られます。
| 各社が挙げた原因 | 欧州委員会の問い | 自社での点検項目 |
|---|---|---|
| 評価環境に意図しないインターネット接続があった(開発企業A) | 回避できない封じ込め措置があるか | 外部への通信経路を、試験開始前に実際に検証しているか |
| 評価パートナーとの認識の行き違い(開発企業A) | 外部評価のアクセスと統制 | ベンダーの環境の隔離条件を契約で定め、確認しているか |
| パッケージ管理基盤など共有インフラが抜け道になった(開発企業B) | 計算資源へのアクセスは許可され追跡可能か | 試験環境から見える社内サービスを洗い出しているか |
| 本番の安全装置を外して評価した(両社) | 振る舞いは適切に監視されているか | 安全装置を外すなら、代わりの監視と隔離を強めているか |
| 監視が評価に及んでいなかった(開発企業B) | 同上 | 試験中の操作ログを、リアルタイムで見ているか |
| 早期の兆候が上申されなかった(開発企業B) | —— | 誰が、どの時点で試験を止められるかを決めているか |
| 解けない課題に安全な出口がなかった(開発企業B) | —— | 「できない」と答えて止まる選択肢を、エージェントに与えているか |
| 指示で範囲の内外を示していなかった(開発企業A) | —— | 攻撃・操作してよい対象を、指示文で明示しているか |
開発企業Bは、再発防止策の1つとして、重大な警報について、呼び出しから30分以内に誤検知と確認できなければ対象の活動を止めることを担当者に求める運用を挙げています。止める基準と止める権限を事前に決めておく、という発想は、規模にかかわらず取り入れられます。
被害側の教訓もあります。プラットフォーム事業者は、侵入の分析に商用APIのフロンティアモデルを使おうとしたところ、攻撃コードを含む大量の記録が提供者の安全装置に遮断され、自社の基盤で動かせるモデルに切り替えたと述べています。インシデント対応で使うAIを、事前に用意しておく必要があるという指摘です。開発企業Aの事案では、被害を受けた組織のうち連絡がついた2つが、通知を受けるまで侵入に気づいていませんでした。
11 規程・契約条項の文例(実務)
第10節の点検項目を、社内規程と委託契約に落とします。
1 AIエージェントの試験(性能評価、検証、訓練を含む。以下同じ。)は、あらかじめ承認された隔離環境で行う。
2 試験責任者は、試験の開始前に、当該環境から外部ネットワークおよび社内の他のサービスへの通信経路を実際に検証し、その結果を記録する。
3 試験環境から利用できるパッケージ取得その他の共有サービスは、試験責任者が個別に許可したものに限る。
第◯条(安全装置の解除)
1 本番運用で適用している安全装置を外して試験を行うときは、その理由、代替の監視方法および隔離条件を定め、情報セキュリティ責任者の承認を得る。
第◯条(試験の停止)
1 試験中のAIエージェントについて、許可されていない外部通信、権限の取得、他の試験との通信その他の異常の兆候を認めた者は、直ちに試験責任者に報告する。
2 試験責任者は、前項の報告を受けたときは、異常でないことを確認できるまで試験を停止する。試験を再開するときは、情報セキュリティ責任者の承認を得る。
3 試験を停止する権限を持つ者の氏名または役職は、試験ごとに記録する。
第◯条(指示文)
1 AIエージェントに与える指示には、操作してよい対象と、操作してはならない対象を明示する。
2 課題が解決できないときは、作業を中止して報告することをAIエージェントに許容する。
※(試験環境の隔離)第2項は、開発企業Aの事案を受けたものです。同社は、評価開始前にすべてのインターネット接続経路を慎重に検証していれば問題をより早く発見できたと述べています。
※(試験の停止)第2項は、開発企業Bの30分ルールを参考に、規模を問わず運用できる形にした当事務所の設計案です。時間を定める場合は、体制に合わせて設定してください。
※(指示文)第2項は、開発企業Bが挙げた「安全な出口がなかった」という原因に対応するものです。
1 受託者は、委託者のAIモデルを評価する環境について、別紙に定める隔離条件(外部ネットワークへの接続の有無および範囲を含む。)を満たすものとする。
2 受託者は、評価の開始前に、前項の隔離条件を満たしていることを検証した結果を委託者に書面で報告する。
3 委託者および受託者は、評価用の指示において委託者が前提とする環境の条件(外部接続の有無を含む。)と、実際の環境の条件が一致していることを、評価の開始前に相互に確認する。
第◯条(異常時の通知と協力)
1 受託者は、評価中にAIモデルが隔離条件の外で動作した疑いを認めたときは、直ちに評価を停止し、24時間以内に委託者に通知する。
2 委託者および受託者は、前項の場合に、影響を受けた可能性のある第三者への通知および調査に協力する。
3 受託者は、評価の記録(操作ログおよび通信記録を含む。)を◯年間保存し、委託者または監督当局の求めに応じて提供する。
※(評価環境の隔離条件)第3項は、開発企業Aの事案の直接の原因に対応する条項です。評価用の指示は「インターネット接続はない」としていましたが、実際の環境は接続できる状態でした。
※(異常時の通知と協力)第3項の「監督当局の求め」は、EU市場にモデルを提供する委託者が第91条の情報要求を受けた場合を想定しています。評価ベンダー側の記録がなければ、委託者は正確に回答できません。
※いずれも当事務所の設計案であり、欧州委員会や業界団体が示した様式ではありません。
12 今週やるべきこと(実務)
本稿執筆時点で未確認の論点
- 今回の情報要求が第91条第1項によるものか、第3項(科学パネルの要請)によるものか。発表は条番号を引用していません。第90条の適格警告が出されたかどうかも公表されていません。
- 情報要求の送付日・名宛人・回答期限、および単純な要求と決定による要求のいずれか。
- 欧州委員会が念頭に置く事案の特定。ニュース記事は事案を特定していません。冒頭発言は具体的な事案に触れていますが、「今年20件を超える」事案の内訳は示されていません。
- 開発企業Bが9月25日に2度目のモデル学習の全面停止を行ったとする冒頭発言の内容。同社自身の公表では確認できていません。
- 冒頭発言にある「Declaration for Control of Frontier AI Models」と、9月21日に公表された国際的な呼びかけが同一の文書か。名称が完全には一致しません。
- 特別会合に関するプレスリリースの公表日。ニュース一覧の表示は2026年10月5日で、本文は会合を予告する書きぶりです。
- GPAI行動規範の安全性・セキュリティ章における重大インシデントの定義と報告期限。本記事では原文を確認していません。
- 評価中の事案が第55条第1項(c)の「重大インシデント」に当たるかについての欧州委員会の判断。
- 第91条第3項が「第68条第2項」を引用していることの扱い。任務を定めるのは第68条第3項です。
- 欧州委員会関係者の「試験段階では執行しない」との発言の原文。報道(二次情報)でのみ確認しています。
- 勧告①〜④を欧州委員会がどの手段(法改正、ガイドライン、行動規範の改訂など)で実施するか。
おわりに
今回の発表は、EU AI法の汎用AIに関する執行権限が8月2日に動き出してから、具体的な事案をめぐって欧州委員会が調査の手順を公に示した最初の局面です。
目を引くのは、問題になった場面が「利用」ではなく「試験」だったことです。AI規制の議論は、市場に出たAIが利用者や社会に与える影響を中心に組み立てられてきました。3件は、モデルの能力を測ろうとする段階そのものが外部に被害を生みうることを示しました。
EU AI法は、試験活動そのものは規律していません。それでも、市場にモデルを出している提供者には、開発から生じるリスクの評価義務があり、内部試験について質問する手続も用意されています。勧告①は、その先に進むかどうかを問うものです。
日本企業にとっての教訓は、法律の外側にあります。3件の原因は、外部接続経路の未検証、安全装置を外した評価、監視の空白、早期の兆候の見落としでした。どれも、AIエージェントを社内で試している会社であれば起こりうるものです。そして開発企業Aの事案では、被害を受けた側が通知を受けるまで侵入に気づいていませんでした。
当事務所は、事業スキームから法的リスクを洗い出すことを方針としています。AIエージェントの試験・運用に関する社内規程の整備、評価・検証業務の委託契約の見直し、EU市場向けの汎用AI規制への対応の要否の判断について、お気軽にご相談ください。
・EU AI法の汎用AI(GPAI)規制とは──制裁金と行動規範【後編】
・EU AI法の「高リスクAI」とは──2026年8月適用開始の全体像【前編】
・人工知能基本計画とは何か──2026年7月改定の要点と、企業が今すべき対応
一次情報
- 欧州委員会 Special meeting of the AI Scientific Panel(2026年10月12日、勧告4項目) https://digital-strategy.ec.europa.eu/en/news/special-meeting-ai-scientific-panel
- 欧州委員会 上級副委員長の冒頭発言(SPEECH/26/2148、2026年10月9日) https://ec.europa.eu/commission/presscorner/detail/en/speech_26_2148
- 欧州委員会 Commission holds special meeting of Scientific panel on frontier AI safety and risks(プレスリリース) https://digital-strategy.ec.europa.eu/en/news/commission-holds-special-meeting-scientific-panel-frontier-ai-safety-and-risks
- 欧州委員会 Scientific Panel on AI https://digital-strategy.ec.europa.eu/en/policies/ai-scientific-panel
- 欧州委員会 Enforcement of the AI Act(情報要求の2類型) https://digital-strategy.ec.europa.eu/en/policies/enforcement-ai-act
- 欧州委員会 GPAI行動規範(署名者一覧) https://digital-strategy.ec.europa.eu/en/policies/contents-code-gpai
- AI Act Service Desk EU AI法 第2条 https://ai-act-service-desk.ec.europa.eu/en/ai-act/article-2
- AI Act Service Desk EU AI法 第3条 https://ai-act-service-desk.ec.europa.eu/en/ai-act/article-3
- AI Act Service Desk EU AI法 第55条 https://ai-act-service-desk.ec.europa.eu/en/ai-act/article-55
- AI Act Service Desk EU AI法 第68条 https://ai-act-service-desk.ec.europa.eu/en/ai-act/article-68
- AI Act Service Desk EU AI法 第90条 https://ai-act-service-desk.ec.europa.eu/en/ai-act/article-90
- AI Act Service Desk EU AI法 第91条 https://ai-act-service-desk.ec.europa.eu/en/ai-act/article-91
- AI Act Service Desk EU AI法 第92条 https://ai-act-service-desk.ec.europa.eu/en/ai-act/article-92
- AI Act Service Desk EU AI法 第93条 https://ai-act-service-desk.ec.europa.eu/en/ai-act/article-93
- AI Act Service Desk EU AI法 第101条 https://ai-act-service-desk.ec.europa.eu/en/ai-act/article-101
- AI Act Service Desk EU AI法 第113条 https://ai-act-service-desk.ec.europa.eu/en/ai-act/article-113
- ノルウェー首相府 International call for enhanced control of AI development(2026年9月21日) https://www.regjeringen.no/en/whats-new/international-call-for-enhanced-control-of-ai-development/id3173324/