새 토큰 __usage_ai-training으로 두 줄만 작성해 4사 크롤러에 의사 전달
핵심 요약
- 오픈AI·구글·마이크로소프트·앤트로픽이 AI 학습용 콘텐츠 이용을 거부하는 공통 표준을 발표했다. 플래저리즘 투데이는 자율 준수 방식과 이미 수집된 저작물 문제를 한계로 지적했다.
오픈AI(OpenAI), 구글(Google), 마이크로소프트(Microsoft), 앤트로픽(Anthropic)이 금요일 웹사이트 콘텐츠의 AI 학습 이용을 거부할 수 있는 새 robots.txt 표준을 발표했다. 사이트 운영자가 회사별 크롤러를 일일이 지정하는 번거로움을 줄이지만, 콘텐츠 접근을 강제로 막거나 이미 학습에 사용된 저작물 문제를 해결하지는 못한다는 비판이 나왔다.
네 회사가 공동으로 마련한 표준은 __usage_ai-training이라는 새 토큰을 도입했다. 사이트 운영자는 두 줄의 코드로 이들 회사의 AI 크롤러 모두에 학습용 콘텐츠 이용을 허용하거나 거부한다는 의사를 전달할 수 있다. AI 기업이 늘어날 때마다 차단할 사용자 에이전트를 추가해야 했던 절차를 단순화한다.
다만 플래저리즘 투데이(Plagiarism Today)는 이번 표준이 웹사이트 운영자와 권리자에게 새로운 통제 수단을 주지는 않는다고 평가했다. robots.txt는 사이트 최상위 디렉터리에 두는 일반 텍스트 파일로, 크롤러 등 봇에 수집을 원하는 영역과 원하지 않는 영역을 알린다. 많은 정상적인 크롤러가 이를 존중하지만 준수는 자율적이며, 파일 자체가 봇의 접근을 차단하지는 않는다. 원치 않는 봇을 막기 위한 별도 도구와 제품이 존재하는 이유다.
기존에도 운영자는 사용자 에이전트별로 의사를 표시할 수 있었다. 구글 검색 크롤러의 접근을 허용하려면 Googlebot을 허용하고, 구글의 AI 크롤러를 막으려면 Google-Extended를 차단하는 식이다. 새 표준은 이 과정을 간소화한다. 필자는 주요 네 회사뿐 아니라 다른 AI 기업까지 폭넓게 채택한다면 유용할 수 있다고 보면서도, 기존 방식의 한계가 그대로 남아 있다고 지적했다.
필자가 제기한 핵심 문제는 직접 수집을 거부해도 다른 경로로 콘텐츠가 학습 데이터에 포함될 수 있다는 점이다. 필자는 지난 6월 AI 봇 차단을 당분간 포기한다고 썼으며, 지금도 입장이 같다고 설명했다. 사이트에서 직접 가져갔든, 불법 복제 데이터셋이나 아카이브, 다른 제3자를 거쳤든 자신의 저작물이 AI 학습 데이터에 들어가는 것을 막지 못했다는 경험에 근거했다. 기존 robots.txt 차단이 효과를 내지 못한 상황에서 새 표준이 더 잘 작동할 것이라고 기대하기 어렵다는 견해다.
이미 수집된 콘텐츠도 남은 문제로 꼽았다. 필자는 사이트에 20년 넘게 쌓인 자신의 작업물이 대형·소형 AI 기업 모두의 학습에 쓰였다고 가정해야 한다고 적었다. 새 표준이 더 효과적이더라도 영향을 미칠 대상은 향후 기사이며, 이미 학습 데이터에 포함된 저작물의 이용을 되돌릴 수는 없다고 봤다.
필자는 경쟁 관계인 네 회사가 합의에 이르기까지 들인 노력은 인정하면서도 성과의 범위를 구분해야 한다고 강조했다. 사이트 운영자는 발표 전에도 AI 학습에 콘텐츠를 쓰지 말라는 의사를 표시할 수 있었다. 이번 변화는 그 의사 표시를 조금 쉽게 만들었을 뿐, 기존의 제한적인 통제 권한을 넓히지는 못했다는 평가다. 운영자에게 실질적인 혜택을 주기보다 AI 기업에 긍정적인 인상을 주는 발표에 가깝다고 비판했다.
더 근본적으로 필자는 현재 AI가 방대한 인간 창작물을 필요로 하며, 대부분 직접적인 동의 없이 수집됐다고 주장했다. 이 문제를 해결하려면 지금까지의 작업을 폐기하고 사전 허락을 우선하는 모델로 처음부터 다시 출발해야 한다고 봤다. 수십억 달러가 걸려 있는 만큼 그런 전환은 일어나기 어렵고, 기업들이 동의 문제의 주변부만 다루게 될 것이라는 회의적인 전망을 내놨다.
