Prefill 시 전문가 수 감소가 MoE 모델에 미치는 영향

Where Prefill Expert Reduction Hurts MoE Models: A Few Prompt Tokens Carry Most of the Short-Answer F1 Loss

Mixture-of-experts (MoE) 모델에서 프리필 시 라우팅된 전문가 수를 줄이는 방법이 비용 절감에 기여하지만, 이로 인해 발생하는 손실이 무엇인지 불분명하다. 연구에서는 짧은 답변 질문 응답에서 네 가지 MoE 계열에 대한 토큰, 레이어 및 주의 경로 개입을 통해 손실을 확인하였다. Qwen3-30B-A3B 모델에서는 답변 전 두 개의 채팅 템플릿 토큰에서 손실이 발생하며, DeepSeek-V2-Lite에서는 첫 8-32 프롬프트 토큰에서 손실이 발생한다. 전문가 수를 줄이면 첫 번째 토큰의 주의 집중도와 활성화가 4% 미만으로 변화하며, 슈퍼 전문가나 대규모 활성화를 복원해도 손실의 최대 25%만 회복된다. 실제 프롬프트에서 4%의 토큰을 전체 전문가로 배치하면 F1 점수가 수정되지 않은 모델과 1점 이내로 유지되지만, 문서에서 무작위로 배치할 경우 약 3점 낮아진다.