동적 파라미터화는 동적 추론이 아니다

Dynamic Parameterization Is Not Dynamic Inference

입력 의존적인 컨트롤러 계수는 종종 동적 추론이나 계산 절약의 증거로 간주된다. 그러나 이는 계수 변동, 고정 모델의 입력에 대한 의존성, 조건부 실행의 세 가지 속성을 혼동한다. 본 연구에서는 고정 컨트롤러 감사(Frozen-Controller Auditing, FCA)를 제안하며, 이는 완전한 계수 텐서를 캐시하고 컨트롤러를 비활성화한 후, 고정 모델을 재생하는 방법이다. 실험 결과, 76M FeatureGate Transformers와 504M 모델에서 정적 레이어 프로파일이 각각 98.70%와 99.43%의 성능 격차를 유지하며, 레이어 정체성이 계수 변동의 87%에서 96%를 설명한다. 그러나 FeatureGate는 모든 Transformer 블록을 실행하며, 측정된 추론 속도는 Dense보다 30.8% 느리다. MUDDPythia-1.4B 체크포인트에서 교차 입력 재배치와 토큰 셔플링은 각각 NLL을 1.9067과 2.9637 증가시킨다.