LLM이 신경망 가중치를 직접 읽고 쓰는 'Weight Space Programming' 공개, Autoresearch 의존 줄여

[AINews] LLMs can read & write neural network weights: "Weight Space Programming" cuts Autoresearch out of the RSI loop

LLM이 다른 모델의 신경망 가중치를 직접 읽고 편집하는 'Weight Space Programming' 연구가 공개됐다. 이는 소스 코드 없이 컴파일된 실행 파일의 비트를 보고 동작을 파악하고 버그를 수정하는 것에 비유되며, 자율 학습 루프에서 사람의 개입을 줄일 수 있는 새로운 방식으로 소개됐다. 기사는 Karpathy의 autoresearch가 약 8개월 전 제시한 자율 실험 방식과 비교한다. 기존 방식은 PyTorch·JAX 코드를 작성하고 컴퓨트 클러스터에서 실험을 돌리며 loss 곡선과 평가 지표를 확인하는 과정이 필요했다. 이번 연구는 똑똑한 모델이 덜 똑똑한 모델의 가중치를 직접 읽고 수정하게 한다. 기사에 따르면 이 방식으로 실패한 트레이스를 보고 한 번에 버그를 고치거나, 50단계 안에 일반적인 방향으로 개선하거나, 독립적으로 학습된 일부 모델을 능가하는 가중치를 한 번에 생성할 수 있었다. 다만 기사는 이것이 기계적 해석(mechanistic interpretability)에 가까우며, 현재는 단순한 게임과 RL 정책 수준을 넘어 확장되기 어렵다고 적었다. 기사는 독립 재현 사례도 언급했다. 저자들은 이 성과가 RSI(재귀적 자기 개선) 능력의 0에서 1로의 전환이라고 평가하며, 효율성 때문에 곧 활용과 탐구가 빠르게 이뤄질 것으로 보고 있다.