러시아어 기계 생성 텍스트 탐지, 작성 조건에 따라 판정이 엇갈려

Same Origin, Different Verdicts: Text Production Conditions Confound Machine-Generated Text Detection in Russian

러시아어 기계 생성 텍스트 탐지 연구로, 1882개 문서 코퍼스에서 같은 모델·같은 과제에 과제 표현만 바꿨을 때 네 가지 측정 방식의 점수 변화 방향이 서로 달랐다. 연구진은 탐지 점수가 텍스트 스타일뿐 아니라 데이터 수집, 반복, 서식, 전처리 결정에도 좌우된다고 밝혔다. 연구는 네 개 생성 채널(각각 별도 모델 계열)이 45개 과제를 세 가지 과제 모드로 생성한 기계 부분과, 텍스트 읽기 전에 출처 통제 수준을 표기한 인간 작성 기록 부분으로 코퍼스를 구성했다. 핵심 비교는 기계 코퍼스 내부에서 같은 모델이 같은 과제에 대해 과제 표현만 다르게 쓴 쌍으로 이루어졌다. 기계다움은 해석 가능한 지수, 학습된 분류기, 공개 모델 기반 제로샷 지표, 판정 모델이라는 네 방식으로 측정했다. 과제 모드를 바꾸자 네 방식 모두 점수가 움직였지만 세 방식은 음의 변화를, 판정 모델은 양의 변화를 보였고 네 신뢰구간 모두 0을 포함하지 않았다. 출처 식별자만 쓴 기준선은 정의된 열세 개 그룹 분할에서 중앙값 AUROC 1.0000을 기록했고, 강조 표지를 제거하자 전체 텍스트가 한 글자도 바뀌지 않았는데도 확신에 찬 기계 판정이 인간 판정으로 뒤집혔다.