SAE 특징 설명을 읽지 않고도 점수화되는 자동 해석 가능성 평가의 구조적 지름길

Scoring Explanations Without Reading Them: Structural Shortcuts in Automated-Interpretability Evaluation Data

sparse autoencoder(SAE) 특징 설명을 자동 해석 가능성 방식으로 평가할 때, 설명을 읽지 않아도 높은 점수를 받을 수 있는 구조적 지름길이 존재한다는 연구다. Neuronpedia의 GPT-2 small 특징 500개 기록에서 중심 토큰 표시 규칙만으로 균형 정확도 0.979를 기록했다. 연구진은 표준 파이프라인이 만든 평가 데이터가 설명 내용과 무관하게 채점될 수 있음을 보였다. Neuronpedia의 저장된 fuzzing 실행 결과에서 활성화 예시의 91.3%가 중심 토큰에 피크가 오도록 잘려 있었고, 중심 토큰이 표시되면 '예'라고 답하는 규칙이 균형 정확도 0.979에 도달했다. 저장된 LLM 채점기는 0.838이었고, 표시 개수만 보는 규칙도 0.969였다. OpenAI의 시뮬레이션 벤치마크에서는 상위 활성화 시퀀스가 먼저 나열되는 구조 때문에, 처음 다섯 토큰에서 활성을 예측하는 규칙이 풀링 상관 0.227을 얻어 GPT-4 시뮬레이터의 0.160보다 높았다. 자연 텍스트에서 무작위 오프셋으로 자른 창에서는 모든 특징에 공통으로 적용되는 최선의 고정 오프셋 사전 규칙이 0.015에 그쳤다.