고정된 랜덤 CNN 특징 추출기를 이용한 심층 강화 학습에서의 비상적 희소성

Emergent Sparsity in Frozen Random CNN Feature Extractors for Deep Reinforcement Learning

고정된 랜덤 초기화 CNN 특징 추출기를 사용한 심층 강화 학습 에이전트가 희소성을 유도하는 목표 없이도 극도로 희소한 완전 연결 표현을 자발적으로 개발한다. 첫 번째 완전 연결 층(FC1)에서 에이전트는 결정론적 Pong의 경우 64개 뉴런 중 1-3개, 확률적 Pong의 경우 5-11개 뉴런을 사용하여 작업 관련 정보를 압축한다. FC1의 희소성은 작업의 복잡성과 비례하며, 동일한 게임 내에서도 서로 다른 활성 뉴런 수를 보여준다. 또한, 활성 뉴런을 제거하면 성능이 급격히 저하된다. 마지막으로, 입력 차원이 본질적인 작업 차원보다 클 경우, 고정된 랜덤 투영에서의 경량 경량화는 기본 문제의 유효 순위를 드러낼 수 있다.