MoWE, 고정된 출력 좌표를 가진 희소 전문가 레이어로 언어 모델의 해석 가능성 높이기

Mixture of Wide Experts: Sparse Routing for Interpretable Native Coordinates

언어 모델은 하나의 개념을 여러 내부 차원에 흩어 저장해 특징을 해석하기 어렵다. 이 논문은 희소 오토인코더를 사후에 학습하는 대신, 모델이 해석 가능한 출력 좌표를 직접 학습하도록 설계한 Mixture of Wide Experts(MoWE)를 제안한다. 19층 모델을 100억 토큰으로 학습한 결과 평가 교차엔트로피는 MoWE 2.417, 밀집 모델 2.452, 표준 MoE 2.22였다. MoWE는 선택된 전문가가 전체 표현을 읽되 서로 겹치지 않는 고정된 출력 좌표에만 쓰는 희소 피드포워드 레이어다. 알려진 숨은 원인이 있는 통제 과제에서 이 구조는 예측 성능을 유지하면서 밀집 모델과 표준 MoE보다 원인을 더 뚜렷하게 국소화했다. 좌표의 읽기 가능성은 언어 모델 판정기가 강하게 활성화된 문단으로 각 좌표를 설명하게 한 뒤 새 문단에서 그 설명을 검증하는 방식으로 측정했으며, 특이성 점수는 MoWE 0.523, 밀집 0.375, 표준 MoE 0.268이었다. 같은 FFN 업데이트에 학습한 TopK 희소 오토인코더는 밀집 0.489, MoWE 0.556을 기록해 네이티브 MoWE가 밀집 모델의 희소 오토인코더와 비슷한 수준이었다. 두 가지 사례 연구도 제시된다. 첫 번째에서는 'A right angle is 90' 프롬프트 뒤 각도 예측을 뒷받침하는 4개 좌표의 인과 경로를 찾았고, 'A rectangle has four' 입력에 각도 관련 좌표 7개 값을 주입하자 다음 토큰 예측이 sides에서 degrees로 바뀌었다. 두 번째에서는 고정된 좌표 집합이 위험한 요청을 탐지하고 다른 집합이 다음 토큰을 거부 응답 쪽으로 조정했다.