OpenAI textGrain 텍스트 워터마크, 짧거나 편집된 글에서 탐지 약화로 EU AI Act 요건 충족 여부 불투명
AI Text Watermarking May Not Be Able to Meet the E.U.’s New Rules
OpenAI가 10월 공개한 텍스트 워터마크 textGrain은 EU AI Act 준수를 위해 개발됐지만, 테스트에서 150단어 미만이거나 추가 편집된 텍스트에서는 워터마크가 잘 유지되지 않았다. 법적 기준이 명확하지 않아 EU 투명성 규정 충족 여부는 아직 불확실하다. textGrain은 워터마크 삽입에 엔트로피(단어 선택의 예측 불가능성)를 예산처럼 배분하는 방식을 사용하며, 개발자가 허용할 엔트로피 목표치를 지정하면 그에 맞춰 조정된다. OpenAI의 오탐률은 1퍼센트로 설계됐다. ELI5 데이터셋 기반 테스트에서 200토큰(약 150단어) 텍스트의 탐지율은 약 80퍼센트, 400토큰(약 300단어) 텍스트는 약 95퍼센트였다. 400토큰 텍스트에서 단어의 10퍼센트를 동의어로 바꾸면 탐지율이 92퍼센트에서 66퍼센트로, 25퍼센트를 바꾸면 17퍼센트로 떨어졌다. 기사는 짧은 텍스트에서 탐지 신호가 부족한 것이 텍스트 워터마킹 기술의 기본 한계이며 해결이 복잡하다고 지적한다. OpenAI는 워터마크만으로는 AI 생성 여부를 판단하기 부족하며 Google DeepMind의 SynthID 같은 다른 출처 확인 도구를 보완재로 사용하겠다고 밝혔다. textGrain은 OpenAI 자체 테스트에서 Google의 SynthID Text와 같거나 더 나은 성능을 보였으나 독립적 검증은 아직 이루어지지 않았다. 코넬대 John Thickstun과 KInIT 연구진이 접근 권한을 얻었지만 평가는 시작하지 않았다고 한다.
textGrain의 1퍼센트 오탐률과 200토큰 이하 텍스트에서의 낮은 탐지율을 고려하면, 짧은 AI 생성 텍스트를 다루는 서비스에서는 워터마크 탐지만으로 규정을 충족한다고 보기 어렵다.
원문 출처
IEEE Spectrum — AI