News
Top-k Mixture-of-Experts에서 경로 매개 손상 감지 연구
Detecting a Route Flip Is Easier Than Knowing Whether to Fix It: Causal Route-Mediated Damage in Quantized Mixture-of-Experts
이 논문은 Top-k Mixture-of-Experts (MoE) 라우팅의 불연속성에 대해 다룬다. 4비트 KV-cache 양자화가 결정 경계를 넘어 토큰을 이동시키고 전문가의 활성화를 전환하는 현상을 분석한다. 연구 결과, OLMoE-1B-7B에서 약 31%의 손상이 경로 매개로 발생하며, AUC 0.772의 배포 가능한 라우터 마진이 플립 발생을 감지하지만 유해한 플립과 유익한 플립을 구별할 수 없음을 보여준다.
OLMoE-1B-7B에서 RMF ~ 0.31의 결과는 양자화 손상의 경로 매개 비율을 나타내며, 이는 모델 최적화에 중요한 정보를 제공한다.
원문 출처
arXiv cs.AI (인공지능)