# OpenAI, Google, MS und Anthropic stützen robots.txt-Standard für KI

> Ein IETF-Entwurf schlägt __usage_ai-training vor: Website-Betreiber können KI-Modelltraining mit einer einzigen robots.txt-Direktive ablehnen.

- URL: https://roobrief.com/de/posts/ai-training-robots-txt
- Language: de
- Published: 2026-10-31T02:40:00.000Z
- Tags: ai
- Source: https://datatracker.ietf.org/doc/draft-kelley-aipref-training-preference-signal/

**Website-Betreiber können die wachsende Liste von KI-Bot-Sperren bald durch eine einzige Direktive in der robots.txt ersetzen.**

OpenAI, Google, Microsoft und Anthropic haben sich darauf geeinigt, einen gemeinsamen Standard zu unterstützen, mit dem Web-Publisher ihre Präferenzen für das Training von KI-Modellen gebündelt signalisieren können. Die Spezifikation basiert auf einem Internet-Draft, den Kevin Kelley, bei Anthropic für Standardisierungsfragen zuständig, bei der Arbeitsgruppe AIPREF der IETF (Internet Engineering Task Force) eingereicht hat.

Es handelt sich derzeit um einen individuellen Internet-Draft und noch nicht um einen verabschiedeten IETF-Standard (RFC). Die Vereinbarung stellt eine freiwillige Selbstverpflichtung der beteiligten Unternehmen dar.

## Eine einzige Direktive für das Opt-out beim KI-Training

Bislang mussten Betreiber von Websites in der Datei `robots.txt` immer längere Listen einzelner Crawler pflegen, um das Auslesen ihrer Daten für das KI-Training zu verhindern. Da jeder Anbieter eigene Namen wie GPTBot, ClaudeBot oder Google-Extended nutzt, musste die Konfiguration bei jedem neuen Bot manuell erweitert werden.

Der vorliegende Entwurf löst dieses Problem, ohne die bestehende Syntax gängiger robots.txt-Parser zu verändern. Unter der herkömmlichen Zeile `User-Agent` wird dazu eine zweckgebundene Richtlinien-Kennung deklariert. Ein einziger Eintrag signalisiert allen beteiligten Crawlern, dass die Inhalte der Website nicht zum Trainieren von KI-Modellen verwendet werden dürfen:

```text
User-Agent: __usage_ai-training
Disallow: /
```

Einzelne Verzeichnisse lassen sich weiterhin wie gewohnt über `Allow:`-Befehle freigeben. Erkennt ein beteiligter Crawler die Kennung `__usage_ai-training`, schließt er die entsprechenden Pfade aus seiner Datenverarbeitung für das Modelltraining aus.

## Unterschiedliche Zeitpläne der beteiligten Anbieter

Obwohl alle vier Konzerne den Vorschlag mittragen, unterscheidet sich der Zeitplan für die technische Umsetzung.

Anthropic begann unmittelbar mit der Veröffentlichung des Entwurfs damit, das Signal zu berücksichtigen. OpenAI kündigte an, die Unterstützung in den kommenden Monaten einzuführen. Microsoft plant den Start zum 1. Feb. 2027, während Google ebenfalls das Frühjahr 2027 anpeilt. Google stellte klar, dass ein Ausschluss über diese Kennung auch ohne die ausdrückliche Nennung von `Google-Extended` als Trainings-Opt-out für Google-Extended gewertet wird.

Da sich die Einführung über mehrere Quartale hinzieht, müssen Webmaster ihre bisherigen bot-spezifischen Sperrlisten bis Anfang 2027 parallel beibehalten.

## Der Unterschied zwischen Training und Live-Suchergebnissen

Der Standard zieht eine klare Grenze zwischen dem vorgelagerten Modelltraining (Pre-training) und Echtzeitabfragen (Live Grounding).

Die Kennung `__usage_ai-training` bezieht sich ausschließlich auf das Erfassen von Inhalten für das Training von Basismodellen. Sie regelt weder das Abrufen von Webseiten durch Chatbots zur Beantwortung aktueller Suchanfragen noch die normale Indexierung durch klassische Suchmaschinen. Wer den Live-Zugriff von KI-Assistenten auf seine Seiten blockieren will, muss die jeweiligen suchbezogenen Bots weiterhin separat verwalten.

Zudem handelt es sich um ein freiwilliges Signal und nicht um eine technische Zugriffssperre. Nicht beteiligte Scraper und kleinere KI-Entwickler können die Direktive ignorieren. Auf Daten, die bereits in der Vergangenheit erfasst und in bestehende Modelle eingerechnet wurden, wirkt das Signal nicht rückwirkend.

## Worauf zu achten ist

Der Entwurf wird nun in der IETF-Arbeitsgruppe AIPREF weiter diskutiert. Entscheidend für die praktische Durchschlagskraft des Standards wird sein, ob sich weitere große Plattformbetreiber wie Meta, Amazon oder Apple der Initiative anschließen.

## Quellen

- [Machine-Readable Training Preference Signal](https://datatracker.ietf.org/doc/draft-kelley-aipref-training-preference-signal/) (IETF Datatracker)