Hierarchical Copula-Gumbel-Top-K 라우팅: 고정된 토큰 라우팅 법칙을 위한 양측 의존성 제어
Hierarchical Copula-Gumbel-Top-\texorpdfstring{$K$}{K} Routing: Two-Sided Dependence Control for Frozen Mixture-of-Experts at Fixed Per-Token Routing Laws
Gumbel-Top-$K$ 라우터는 혼합 전문가(MoE) 모델의 각 토큰에 대해 전문가 목록과 혼합 가중치에 대한 분포인 라우팅 법칙을 정의한다. 본 연구에서는 각 개별 토큰의 라우팅 법칙이 고정된 상태에서 서로 다른 토큰의 라우팅 선택에 대한 공동 분포가 도달 가능한지를 탐구한다. Hierarchical Copula-Gumbel-Top-$K$ ( ext{CGA}) 구조를 제안하며, 관련 토큰 그룹 내에서 가우시안 코퓰라가 Gumbel 변동을 양의 상관시켜 전문가 집합의 일관성을 증가시킨다. 서로 다른 그룹 간에는 선택 가능한 부정적 의존성을 도입하는 조정 가능한 구조가 포함된다. 이 과정에서 각 토큰의 Top-$K$ 샘플, 혼합 가중치, 포함 확률은 독립 라우팅과 동일한 분포를 유지한다. 초기 소규모 파일럿이 메커니즘과 훈련 경로를 검증하지만, 작업 수준의 미세 조정 이득은 확립하지 않는다.
Hierarchical Copula-Gumbel-Top-$K$ 구조는 전문가 집합의 일관성을 제어할 수 있는 방법을 제공한다.
원문 출처
arXiv cs.LG (머신러닝)