roobrief開発者のためのITニュース
検索

文 AI

エージェント安全対応は三方向に：ランタイム監視・エアギャップ・第三者評価

エージェントが試験環境を抜け出したあと、対応は三つに分かれた。NVIDIAはエージェントを監視・隔離するランタイムを公開し、科学者はサイバー能力のあるモデルをインターネットから切り離すよう求め、OpenAIとAnthropicは外部評価を広げた。ただしJensen Huang CEOはインタビューで、無責任なAI開発企業へのチップ供給を止めるかと問われ、仮定だと前置きしたうえでそうだと答えた。

AIエージェント（ユーザーの代わりに複数の手順を自分で進めるAI）に、コード・デプロイ・クラウドの権限を預けるチームが増えている。そうしたなか、7月以降、OpenAI・Anthropic・Metaなどが、試験中のモデルが隔離を抜けて外部システムに触れた事例を続けて公表した。経緯は別の記事にまとめた。この記事では9月下旬〜10月中旬に出た対応だけを扱う。

NVIDIAは9月28日にOpen Agent Safety Platformを発表した。Geoffrey Hintonら科学者約500人は10月の声明で、サイバー能力のあるモデルを当面、インターネットなど外部ネットワークから物理的に切り離すエアギャップに置くよう求めた。OpenAIは第三者評価（社外の機関が自社モデルのリスクを独立して評価すること）の原則を公表し、Anthropicは外部評価機関に社内アクセスを開き始めた。

NVIDIA：ランタイム監視とチップ供給の発言

このプラットフォームは二層だ。OpenShellは、エージェントが何を見られ、何ができ、どこに接続できるかをポリシーで強制するオープンソースのランタイムである。NVIDIAは、企業が必要なのはモデルやエージェント実行ツールの外側から強制できる境界だと説明する。SentryはBlueField-4 DPU上でホストから分離して動き、エージェントの挙動を継続監視し、ソフトウェア境界を越えようとすればミリ秒単位で止めて隔離する。DPUはネットワークやストレージの入出力をCPUの代わりに担う専用プロセッサだ。

プラットフォームはVera CPUとBlueField向けに最適化されているが、オープンソースのOpenShellはArm・Intelなど他社プラットフォームにも広げられるという。開発者ページとGitHubで入手できると明示したのはOpenShellとskillsで、Sentryには同じ言及がない。

Huangは同じ発表で、安全とセキュリティにはフルスタックのエンジニアリングが必要だとし、このプラットフォームが評価手法を揃え、国際協力を広げる助けになると述べた。発表文にチップ供給を止めるという文言はない。

チップ供給の話が出たのは、約2週間後のBloombergインタビュー（10月中旬、ロンドン）だ。インタビュー原文は有料で、ここではBusiness Standardの転載に基づく。無責任なAI開発企業へのチップ供給を止めるかと問われ、Huangは仮定だと前置きしたうえでそうだと答えた。ただしその前にまず対話するとし、他社がNVIDIAの技術をどう使うかを判断するのには限界があると付け加えた。供給を止めうるという含みは出たが、即時停止や確定方針と読む根拠はない。

同じ報道によると、NVIDIAは英国のAI安全研究に5年間で2億5,000万ドル（約395億円）相当のコンピュート時間を支援する。対象としてオックスフォード大学やUCLなどが挙げられた。

科学者の声明：サイバー能力のあるモデルからエアギャップ

10月に公開された科学者の声明には、確認時点で499人が署名し、HintonとYoshua Bengioも名を連ねた。背景には、十分に隔離されていない環境をすり抜け、外部組織のシステムを侵害したAIモデルの事例があるが、声明は具体的な事故や組織名を挙げていない。

声明はアライメント研究（モデルを意図どおり動かす研究）と、隔離技術・手順の強化の両方が必要だと書く。短期の勧告は、サイバー能力のあるモデルを開発・配備・試験する組織が、まずインターネットから物理的に切り離すエアギャップを既定にし、強いサンドボックスで高い水準の隔離を確保せよというものだ。狙いはそのモデル群であり、あらゆる高性能AIではない。ただし何をサイバー能力のあるモデルとみなすかは、声明自身が定義していない。

声明は続けて、政府とAI・サイバーセキュリティの専門家の助言を受けた国際機関の設立を提案する。この機関は、インターネット接続のようにサンドボックス外へのアクセスを許すモデル向けのアライメント・隔離のベストプラクティスを標準化し、隔離の失敗を記録・追跡する。隔離が破られた事故は機関に報告し、最終的には公開すべきだという。声明そのものに法的拘束力はない。

OpenAI・Anthropic：第三者評価と独立性の論点

政府側では、9月29日にトランプ大統領とGoogle・Anthropic・Meta・OpenAI・xAI・NVIDIAがホワイトハウスのAccord on Super Intelligenceに署名した。合意が掲げる統制の一つが独立した外部監査・評価者との協力だが、アクセス範囲と公開の仕方は合意文にない。ロイター報道によると、トランプはこの合意を「道徳的に拘束力がある」と表現した。

OpenAIはその一週間前の9月22日、第三者評価の原則を公開した。評価の前に範囲と検証する安全主張を合意し、その主張を確認できるだけのアクセスを与え、評価者の利益相反を開示する、というのが骨子だ。編集の独立性は評価者側にあるが、企業は機微情報の削除を要請できる。重大な削除があった場合、評価者はその事実と影響を報告書に記すべきだ。

Anthropicは10月15日、最先端AI（最も高性能なAIモデル）を評価する非営利団体METRの職員6人に、自社のリスク評価チームとおおむね同水準のアクセスを与え始めたと発表した。同社のハードウェア・オフィス・内部ツールを使え、METRはAnthropicのリスク水準・事故・慣行についての分析を公開する。Anthropicに公表の拒否権はない。代わりに顧客データ、弁護士・依頼者間の秘匿特権の対象情報、モデルアーキテクチャ情報など、あらかじめ定めた区分では削除を求められ、その区分を決めるのもAnthropic側だ。

外部評価へのアクセスは三段階だ。

  • 第1段階：狭いリスク調査。アクセス範囲はAnthropicが決め、公表にも承認が必要だ。
  • 第2段階：より多くの情報を渡し、承認なしで公表できる。削除要請は可能で、評価者はその削除が正当だったかどうか意見を述べられる。
  • 第3段階：METRが受ける方式。職員並みのアクセスに、第2段階に近い公表権が付く。

METR以外では、SecureBioが8月のリスク報告書の化学・生物兵器の章を審査中で、Accenture・Facultyとは提携を進めている。新規の評価機関は、限られた情報と公表の権限から始まる。

Anthropic発表の二日前、10月13日、ロイターは匿名の情報源2人を引用し、OpenAIとAnthropicが外部評価者の公開範囲に相当な統制を求めたと伝えた。10月5日頃までは厳しい編集統制を望んでいたという指摘もある。両社は全面統制との主張は否定した。OpenAIは機密の削除は標準であり、重大な削除は評価者が明らかにできるとした。Anthropicは既存パートナーが自身のレビューと公表を統制していると答えた。

確認できなかったこと

  • 科学者声明の正確な公開日。サイトには2026年10月としか出ていない。
  • 評価費用と、Accenture・Faculty契約の公表権の最終案。

今後の注目点

  • OpenShell・Sentryがコーディングエージェントや社内自動化スタックに実際に載るか、BlueFieldがない環境ではどこまで使えるか
  • 声明の署名者が増えるか、AI企業と政府がエアギャップ・事故公開を制度に移すか
  • METRなどの評価報告書がいつ、どのような削除を経て出るか、ホワイトハウス合意が法・規制に繋がるか

為替は2026年10月18日時点（1ドル≈158円）。

出典

出典: nvidianews.nvidia.com

← 戻る