OpenAI、Google、MS、Anthropicがrobots.txtによるAI学習拒否で合意

新しいAIボットが登場するたびにrobots.txtへ追記していた除外設定が、単一の指定トークンで完結するようになる。

OpenAI、Google、Microsoft、Anthropicの主要AI開発企業4社が、WebサイトにおけるAIモデル学習目的のデータ収集拒否を単一設定で処理する新規格の支持で合意した。Anthropicで標準化を担当するKevin Kelleyが、インターネット技術の標準化団体であるIETF（Internet Engineering Task Force）のAIPREF作業部会に提出したインターネット草案（Internet-Draft）に基づく仕様だ。

現段階ではIETFで正式承認された標準規格（RFC）ではなく、参加企業が自主的に運用方針を統一する合意段階にとどまる。

1行で指定するAI学習拒否トークン

これまでWebサイト運営者がAI企業によるデータ収集を拒否するには、検索エンジン向けのアクセス制御ファイルであるrobots.txtに、個別のクローラー名を都度列挙する必要があった。GPTBot、ClaudeBot、Google-Extendedなど企業ごとにボット名が異なり、新たなクローラーが投入されるたびに設定ファイルを更新しなければならなかった。

今回の草案が示した解決策は、既存のrobots.txt構文解析ルールを損なうことなく、目的別のポリシー指定用トークンをUser-Agent欄に記述する方式だ。以下のように記述するだけで、参加企業全体に対してモデル学習用のデータ収集を拒否する意思を伝達できる。

User-Agent: __usage_ai-training
Disallow: /

特定ディレクトリのみ学習を許可したい場合は、従来どおりAllow:指示子と組み合わせられる。参加企業のクローラーは、サーバーのrobots.txtを読み込む際に__usage_ai-trainingトークンを検知すると、自社のモデル訓練パイプラインから該当パスのデータを除外する。

各社で異なる適用スケジュールと対象範囲

基本方針では合意したものの、実際のクローラーへ反映される時期には各社で開きがある。

Anthropicは草案の公開と同時に即座に対応を開始した。一方、OpenAIは今後数か月以内の実装を予定している。Microsoftは2027年2月1日、Googleも2027年初頭を目標時期として掲げた。Googleは、サイト運営者がGoogle-Extendedを個別に明記していなくても、この共通トークンにDisallowが設定されていればGoogle-Extendedに対する学習拒否として解釈すると説明している。

全参加企業に遮断効果を行き渡らせるには、2027年初頭までは既存の個別ボット除外リストを維持しておく必要がある。

モデル学習とリアルタイム検索引用の違い

このトークンが対処する範囲と限界も明確に定義されている。

最も重要な点は、基盤モデルの事前学習（Pre-training）と、リアルタイムの検索引用（Live Grounding）の明確な区別だ。__usage_ai-trainingトークンが制御するのは、将来のモデルを訓練するための大規模データ収集のみに限られる。チャットボットがユーザーの質問に回答するためにWebページをリアルタイムで取得する検索機能や、検索エンジン自体のインデックス登録は除外の対象外だ。AIによるリアルタイム検索からの取得まで防ぎたい場合は、従来どおり各社の検索用ボットを個別に制御しなければならない。

また、技術的なアクセス遮断壁（ファイアウォール）ではなく、各社が自発的に遵守する運用上の意思表示信号である点にも留意が必要だ。合意に加わっていない新興AI企業やスクレイパーがこの記述を無視する可能性は残る。過去にすでに収集され、既存モデルの訓練に組み込まれたデータへの遡及適用もない。

今後注視すべき点

草案は今後、IETFのAIPREF作業部会で詳細な議論と標準化手続きが進められる。Meta、Amazon、Appleなど、他の主要プラットフォーム企業がこの共通規格に加わるかどうかが、実効性を左右する鍵となる。

出典

• Machine-Readable Training Preference Signal (IETF Datatracker)