OpenAI, Google, MS et Anthropic unifient le refus d'entraînement IA

Les gestionnaires de sites pourront bientôt remplacer de longues listes de règles par une directive unique dans robots.txt pour bloquer l’entraînement IA.

OpenAI, Google, Microsoft et Anthropic ont convenu de soutenir un standard unifié permettant aux éditeurs de sites d’exprimer leurs préférences relatives à l’entraînement des modèles d’intelligence artificielle en un seul bloc. Cette spécification repose sur un projet Internet-Draft soumis au groupe de travail AIPREF de l’IETF (Internet Engineering Task Force) par Kevin Kelley, en charge des standards chez Anthropic.

Ce document constitue pour l’instant une proposition individuelle et non une norme formellement ratifiée (RFC). L’accord repose sur un engagement volontaire des entreprises signataires.

Une directive unique pour refuser l’entraînement des modèles IA

Jusqu’à présent, les exploitants de sites devaient maintenir une liste croissante d’agents dans leur fichier robots.txt pour empêcher la collecte de leurs données. Chaque acteur utilisant ses propres robots d’indexation—comme GPTBot, ClaudeBot ou Google-Extended—, il fallait modifier la configuration à chaque lancement d’un nouveau robot.

Le projet de l’IETF répond à cette contrainte sans modifier la syntaxe habituelle des analyseurs de fichiers robots.txt. Il introduit un jeton de politique spécifique sous la ligne classique User-Agent. Une seule directive suffit pour signaler à l’ensemble des acteurs participants que le contenu ne doit pas servir à entraîner des modèles d’IA :

User-Agent: __usage_ai-training
Disallow: /

Les propriétaires de sites peuvent toujours autoriser des répertoires particuliers en combinant la directive usuelle Allow:. Lorsqu’un robot participant repère le jeton __usage_ai-training, il exclut les chemins correspondants de ses flux d’ingestion de données d’apprentissage.

Calendriers de déploiement échelonnés selon les éditeurs

Si les quatre entreprises soutiennent la proposition, leurs calendriers d’intégration restent étalés dans le temps.

Anthropic a commencé à honorer le signal dès la publication du projet. OpenAI a indiqué vouloir le prendre en charge dans les prochains mois. Microsoft vise une mise en service d’ici le 1er février 2027, tandis que Google cible également le début de l’année 2027. Google a précisé qu’en cas d’interdiction via ce jeton commun, même sans mention explicite de Google-Extended, la règle sera interprétée comme un refus d’entraînement pour Google-Extended.

Ces calendriers impliquent que les gestionnaires de sites devront conserver leurs listes d’exclusion par robot jusqu’au début de 2027 pour garantir un blocage complet.

La frontière entre entraînement et recherche en direct

Le document établit une séparation stricte entre l’entraînement préalable des modèles (Pre-training) et la recherche en direct (Live Grounding).

Le jeton __usage_ai-training s’applique exclusivement à la collecte servant à entraîner les modèles fondateurs. Il ne concerne pas l’extraction de pages en temps réel effectuée par les assistants conversationnels pour répondre à une question d’actualité, ni l’indexation générale par les moteurs de recherche. Les sites souhaitant restreindre les requêtes en direct des assistants doivent continuer de gérer séparément les robots dédiés à la recherche.

Il s’agit par ailleurs d’un signal déclaratif et non d’un pare-feu technique contraignant. Des outils d’extraction non signataires ou de plus petits laboratoires d’IA peuvent ignorer la directive. Enfin, la règle n’a pas d’effet rétroactif sur les données collectées par le passé et déjà intégrées aux modèles existants.

Ce qu’il faut surveiller

Le projet fera l’objet d’examens au sein du groupe de travail AIPREF de l’IETF. L’impact réel de cette standardisation dépendra largement du ralliement d’autres grands acteurs du web, notamment Meta, Amazon et Apple.

Sources

• Machine-Readable Training Preference Signal (IETF Datatracker)