오프라인 단계 없이 지속 학습을 위한 리플레이 메커니즘
Replay in the Silent Degrees of Freedom: Continual Learning Without an Offline Phase
리플레이 기반의 지속 학습은 일반적으로 오프라인 단계에서 통합되거나 입력 스트림과 리플레이 샘플을 혼합하여 이루어진다. 그러나 이 연구에서는 생물학적으로 제약된 규칙으로 훈련된 네트워크가 오프라인 단계 없이 통합할 수 있는지를 조사하였다. k-winner-take-all 동역학을 사용하여 리플레이 업데이트를 숨겨진 시냅스에 제한하고, 방전 회전 규칙을 통해 최근에 활성화된 유닛이 다음 경쟁에서 제외되도록 하여 통합 가능한 집합을 확대한다. 이 시스템은 class-incremental split-MNIST에서 오프라인 단계 없이 91.6%의 정확도를 달성하였고, split CIFAR-10에서는 오프라인 리허설과 경험 리플레이를 초과하는 성능을 보였다.
이 시스템은 class-incremental split-MNIST에서 오프라인 단계 없이 91.6%의 정확도를 달성하였다.
원문 출처
arXiv cs.LG (머신러닝)