드리프트 계약: 깊이 강건한 로컬 학습을 위한 스펙트럴 업데이트

The Drift Contract: Spectral Updates for Depth-Robust Local Learning

로컬 학습은 각 레이어를 보조 손실로 훈련하며, 글로벌 역전파 없이 구조적으로 병렬 업데이트를 수행한다. 그러나 깊이가 증가함에 따라 정확도가 저하되고 하이퍼파라미터가 불안정하다는 두 가지 문제가 있다. 본 연구에서는 Muon 스타일의 스펙트럴 업데이트 기하학을 로컬 업데이트에 적용하여, CIFAR-10 MLP 벤치마크에서 폭 128에서 2048, 깊이 12에서 48까지의 테스트에서 단일 스텝 크기 설정이 가장 좋은 값을 보였다. 스펙트럴 업데이트는 로컬 Adam보다 명확한 우위를 보여주며, lr = epsilon / RMS(input)으로 스텝 크기를 드리프트 계약으로 공식화하여 각 레이어의 가중치에 의한 사전 활성화 변화를 제한한다.