비선형 RNN의 병렬 시간 훈련을 통한 동적 시스템 재구성
Parallel-in-Time Training of Recurrent Neural Networks for Dynamical Systems Reconstruction [R]
논문 '#NeurIPS2026 spotlight “Parallel-in-Time Training of Recurrent Neural Networks for Dynamical Systems (DS) Reconstruction (DSR)”'에서는 비선형 RNN의 훈련 속도를 100배 이상 향상시키는 방법을 제시한다. DEER는 전체 시퀀스 길이 T에 걸쳐 뉴턴형 고정점 반복을 통해 RNN의 전방 패스를 해결하며, GPU 병렬화를 통해 O[(log T)²]로 확장 가능하다. GTF를 사용하여 DEER의 안정성을 높이고 전통적인 교사 강제 방식보다 노출 편향을 줄인다. 이 두 가지 메커니즘의 결합으로 T>10^6인 긴 시간 시리즈에 대한 효율적인 병렬 훈련이 가능하다.
비선형 RNN의 훈련 속도를 100배 이상 향상시킬 수 있는 DEER와 GTF의 결합은 동적 시스템 재구성에서의 성능을 크게 향상시킨다.
원문 출처
r/MachineLearning