Gated Uncertainty-Aware Routing for Distillation을 통한 경량화된 과학적 시계열 예측

When to Trust, How to Distill: Multi-Foundation Model Guidance for Lightweight, Robust Scientific Time Series Forecasting

Time-Series Foundation Models (TSFMs)의 배포는 특정 과학 분야에 적용할 때 심각한 분포 불일치 문제와 높은 계산 비용으로 인해 제한된다. 본 연구에서는 Gated Uncertainty-Aware Routing for Distillation (Guard)라는 새로운 프레임워크를 제안하며, 이는 다중 교사 증류를 인스턴스별 결정 과정으로 재구성한다. 이 프레임워크는 두 가지 적응 메커니즘을 포함한다: (1) Contextual Router는 지역 입력 통계에 따라 가장 관련성 높은 교사를 동적으로 선택하고, (2) Uncertainty-Gated Temperature 메커니즘은 교사의 신뢰도가 도메인 현실과 다를 때 증류 강도를 자동으로 조절한다. 이 방법은 기후 관련 네 가지 도메인에서 RMSE를 유의미하게 감소시켰으며, 최적의 제로샷 정확도를 보이지 않는 사전 훈련된 모델로부터 지식을 성공적으로 증류할 수 있음을 보여준다.