OpenAI·구글·MS·앤트로픽, robots.txt 기반 AI 학습 거부 단일 표준 지원 합의
새로운 AI 봇이 나올 때마다 robots.txt에 줄줄이 차단 규칙을 추가하던 번거로움이 단 하나의 설정 토큰으로 줄어들 수 있다.
오픈AI(OpenAI), 구글(Google), 마이크로소프트(Microsoft), 앤트로픽(Anthropic) 4사가 웹사이트의 AI 학습용 크롤링 거부 의사를 단일 설정으로 처리하는 새 표준 규격을 지원하기로 합의했다. 앤트로픽의 케빈 켈리(Kevin Kelley)가 국제 인터넷 표준화 기구인 IETF(Internet Engineering Task Force)의 AIPREF 작업반에 제출한 인터넷 초안(Internet-Draft)에 기반한 규격이다.
다만 이 제안은 아직 IETF 정식 표준(RFC)으로 비준된 것은 아니며, 참여 기업들이 자발적으로 규약을 따르기로 뜻을 모은 단계다.
한 줄로 끝내는 AI 학습 거부 토큰
그동안 웹사이트 운영자는 AI 기업들의 데이터 무단 수집을 막기 위해 검색엔진 로봇 배제 표준인 robots.txt 파일에 개별 크롤러의 이름을 일일이 적어야 했다. GPTBot, ClaudeBot, Google-Extended처럼 기업마다 크롤러 이름이 제각각이었고, 새로운 모델이나 크롤러가 등장할 때마다 설정 파일을 매번 갱신해야 하는 관리 부담이 컸다.
이번 초안이 제시한 해법은 기존 robots.txt 파서(문법 분석기)의 규칙을 깨지 않으면서 목적별 정책 토큰을 User-Agent 항목에 선언하는 방식이다. 다음과 같이 한 줄을 적으면 참여 기업 전체에 모델 학습용 데이터 수집을 거부한다는 의사를 전달한다.
User-Agent: __usage_ai-training
Disallow: /특정 디렉터리만 학습을 허용하고 싶다면 기존 문법 그대로 Allow: 지시자를 조합할 수 있다. 참여 기업들은 웹 서버의 robots.txt를 파싱할 때 __usage_ai-training 토큰을 감지하면 자사의 AI 모델 훈련 파이프라인에서 해당 경로의 데이터를 제외한다.
회사마다 다른 도입 일정과 적용 범위
합의는 이뤄졌지만 실제 크롤러에 이 표준이 반영되는 시점은 회사마다 차이가 있다.
앤트로픽은 초안 공개와 동시에 즉시 자사 시스템에 해당 토큰 지원을 시작했다. 반면 오픈AI는 수개월 내 시스템에 적용하겠다고 밝혔고, 마이크로소프트는 2027년 2월 1일을 도입 목표일로 제시했다. 구글 역시 2027년 초 지원을 목표로 잡았다. 구글은 사이트 운영자가 Google-Extended를 별도로 명시하지 않더라도 이 공통 토큰에 Disallow를 설정해 두면 AI 학습 수집 거부로 간주하겠다고 설명했다.
따라서 전체 참여 기업에 차단 효과가 온전히 적용되려면 2027년 초까지 기존의 개별 크롤러 차단 목록을 유지할 필요가 있다.
검색 인용과 학습 거부 사이의 함정
이 토큰이 해결하는 범위와 한계도 명확하다.
가장 중요한 차이는 ’모델 사전 훈련(Pre-training)’과 ’실시간 검색 인용(Live Grounding)’의 구분이다. __usage_ai-training 토큰은 파운데이션 모델을 학습시키는 대규모 데이터 수집만을 제어한다. 챗봇이 사용자의 질문에 답하기 위해 실시간으로 웹페이지를 읽어오는 검색 접지나 검색엔진 자체의 색인(Indexing) 작업은 차단 대상에 포함되지 않는다. 만약 챗봇의 실시간 웹 검색 접근까지 막고 싶다면 각 사의 실시간 검색 전용 에이전트나 검색엔진 봇을 따로 제어해야 한다.
또한 기술적인 강제 차단벽(Firewall)이 아니라 크롤러가 규약을 자발적으로 준수하는 선언적 신호라는 점도 감안해야 한다. 협약에 참여하지 않은 군소 AI 스타트업이나 스크레이퍼는 이 신호를 무시할 수 있다. 이미 과거에 크롤링되어 기존 파운데이션 모델의 학습에 쓰인 데이터셋에는 소급 적용되지 않는다.
앞으로 볼 것
IETF AIPREF 작업반에서 초안에 대한 논의와 표준화 절차가 이어질 예정이다. 네 거대 AI 기업 외에 메타(Meta), 아마존(Amazon), 애플(Apple) 등 다른 주요 빅테크가 참여 진영에 합류할지가 이 표준의 실효성을 좌우할 핵심 변수다.
출처
- Machine-Readable Training Preference Signal (IETF Datatracker)