DeepMind DiscoRL: 학습 규칙 자체를 AI가 발견하는 재귀적 자기개선 실험

The Sequence Knowledge - Issue #954: Learning RSI: How AI Learns to Design Learning Algorithms

DeepMind의 DiscoRL은 신경망이 학습 알고리즘의 업데이트 규칙을 표현하고, 에이전트 집단이 제공하는 경험으로 더 나은 학습자를 만드는 규칙을 찾아낸다. 이 방식으로 Atari57에서 발견한 Disco57 규칙은 추가 메타 학습 없이 ProcGen과 DMLab-30에서 새로 학습한 에이전트를 훈련시켰다. 기사는 대부분의 AI 시스템이 과제 수행 능력은 높아져도 학습 방식 자체는 개선되지 않는다고 지적한다. DiscoRL은 바로 그 학습 기계 장치를 겨냥한다. 기사는 MAML, 학습된 옵티마이저, Learned Policy Gradient의 계보를 짚고, DiscoRL 루프 안의 두 단계 신용 할당 문제, 학습 규칙의 제로샷 전이가 실제로 검증하는 것, 발견 비용을 여러 학습 실행에 나누는 경제성을 설명한다. 또한 학습된 규칙을 도입하기 전 해석 가능성이 중요하다고 보고, 진정한 재귀적 다음 단계는 연산량과 평가 노력을 감안한 뒤에도 측정 가능한 이득을 계속 만들어내야 한다고 결론짓는다.