OpenAI, Google, MS y Anthropic unifican el rechazo al entrenamiento IA
Los administradores web pronto podrán sustituir las largas listas de bloqueos a robots de IA por una única directiva en robots.txt.
OpenAI, Google, Microsoft y Anthropic han acordado respaldar un estándar unificado para que los editores de páginas web expresen sus preferencias sobre el entrenamiento de modelos de inteligencia artificial en un solo bloque. La propuesta toma como base un borrador (Internet-Draft) presentado ante el grupo de trabajo AIPREF del IETF (Internet Engineering Task Force) por Kevin Kelley, responsable de estándares en Anthropic.
El documento es por ahora una propuesta individual y no un estándar oficial ratificado (RFC). El acuerdo representa un compromiso voluntario entre las empresas firmantes.
Una directiva única para rechazar el entrenamiento de modelos de IA
Hasta ahora, los administradores de sitios debían mantener una lista creciente de agentes en su archivo robots.txt para evitar la extracción de contenidos con fines de entrenamiento. Como cada compañía utiliza rastreadores con nombres propios—como GPTBot, ClaudeBot o Google-Extended—, era necesario modificar la configuración cada vez que aparecía un nuevo rastreador.
El borrador resuelve este problema sin alterar las reglas gramaticales de los analizadores tradicionales de robots.txt. En su lugar, define un identificador de política bajo la línea estándar User-Agent. Una sola directiva comunica a todos los rastreadores participantes que el contenido del sitio no debe utilizarse para entrenar modelos de IA:
User-Agent: __usage_ai-training
Disallow: /Los sitios pueden seguir permitiendo el acceso a directorios concretos mediante la directiva tradicional Allow:. Cuando un rastreador participante detecta el identificador __usage_ai-training, excluye las rutas correspondientes de sus procesos de recopilación para entrenamiento.
Plazos de adopción escalonados entre los proveedores
Aunque las cuatro compañías respaldan la iniciativa, el calendario de aplicación técnica varía según el proveedor.
Anthropic comenzó a respetar esta directiva desde la publicación del borrador. OpenAI indicó que implementará el soporte en los próximos meses. Por su parte, Microsoft fijó como fecha objetivo el 1 de febrero de 2027, mientras que Google apunta a principios de 2027. Google aclaró que si un sitio bloquea el acceso mediante este identificador sin mencionar explícitamente a Google-Extended, se interpretará igualmente como un rechazo al entrenamiento para Google-Extended.
Dado que la implantación abarcará varios trimestres, los administradores web deberán conservar sus listas de bloqueo específicas por cada bot hasta principios de 2027 si buscan una cobertura total.
La frontera entre entrenamiento y búsqueda en tiempo real
La especificación delimita de forma estricta la separación entre el preentrenamiento de modelos y la recuperación de información en tiempo real (Live Grounding).
La directiva __usage_ai-training afecta únicamente a la recolección masiva de contenidos destinada a entrenar modelos fundacionales. No impide que los asistentes de chat lean páginas al instante para responder a consultas de actualidad ni altera la indexación habitual de los motores de búsqueda. Quienes deseen restringir el acceso en vivo de los asistentes deberán seguir gestionando los rastreadores de búsqueda de forma independiente.
Asimismo, se trata de una señal declarativa voluntaria y no de un cortafuegos técnico obligatorio. Los programas de extracción externos y las pequeñas empresas de IA que no formen parte del acuerdo podrían ignorar la regla. Por último, la directriz no tiene efectos retroactivos sobre los datos que ya fueron recolectados e integrados en modelos existentes.
Qué habrá que vigilar
El borrador continuará su proceso de revisión en el grupo de trabajo AIPREF del IETF. La eficacia práctica del estándar dependerá en gran medida de si otros gigantes del sector, como Meta, Amazon o Apple, deciden sumarse al consenso.
Fuentes
- Machine-Readable Training Preference Signal (IETF Datatracker)
Fuente: datatracker.ietf.org