OpenAI·Google·Microsoft·Anthropic, 웹사이트의 AI 스크래핑 거부를 위한 공통 'policy token' 표준 도입
The biggest names in AI are backing a new way to opt out of scraping
OpenAI, Google, Microsoft, Anthropic이 퍼블리셔가 AI 스크래핑을 거부할 수 있는 새로운 표준을 도입하겠다고 밝혔다. 이 표준을 사용하면 퍼블리셔는 AI 회사마다 개별적으로 설정하지 않고 여러 AI 회사에 걸쳐 AI 학습 선호도를 한 번에 적용할 수 있다. 공유 신호인 'policy token'은 Anthropic의 표준 기술 리드 Kevin Kelley가 Internet Engineering Task Force(IETF)의 일환으로 제안했다. 이 신호는 웹사이트의 robots.txt 파일 안에 위치하게 된다. robots.txt는 어떤 웹 크롤러가 사이트를 스크래핑할 수 있고 없는지를 오랫동안 알려 온 파일이다.
웹사이트 운영자는 robots.txt에 policy token을 설정하는 방식으로 여러 AI 회사의 학습 스크래핑을 한 번에 제어할 수 있게 된다.
원문 출처
The Verge — AI