Qwen 3.8 27B, 노트북에서 모델 가중치를 해석하는 시연 - 가중치 공간 프로그래밍 논문 재현

Qwen 3.8 27B on my laptop can interpret model weights, too

Simon Willison은 Sparks of Weight-Space Programming 논문의 실험을 자신의 노트북에서 돌아가는 Qwen 3.8 27B로 재현했다고 밝혔다. 논문은 LLM이 도구나 코드 실행 없이 신경망의 원시 가중치를 읽고 해석할 수 있다고 주장한다. 논문 저자들은 Breakout, Pong, Pac-Man, Freeway를 10x10 격자로 단순화한 게임용 정책 네트워크 4개를 학습시킨 뒤, 부동소수점 가중치를 텍스트로 LLM에 입력하고 어떤 게임으로 학습됐는지 맞혀보게 했다. 실험 프롬프트는 가중치를 제외하면 네 게임 모두 동일하며, 도구 사용을 금지한다는 조건이 명시되어 있다. Willison은 LLM 도구의 -f 옵션으로 GitHub의 프롬프트 파일 URL을 넘기는 방식으로 Kimi K3.1 Pro를 OpenRouter를 통해 실행했고, 이 모델은 Breakout을 맞혔다. 소요 시간은 9분 41초, 추론 토큰은 19,493개였다. 같은 프롬프트를 Qwen 3.8 27B에 적용하는 실험도 진행했으며, 그가 쓰는 Q4_K_M 버전은 약 17GB다. 논문은 GPT-6 Astra가 가중치를 보고 학습 목적을 파악하고, Qwen3.5-0.8B의 추론 루프 문제를 가중치의 0.016%를 수정해 MATH-500 점수를 7.9%에서 48.1%로 올렸다고 보고한다. 다만 spaCy 저자 Matthew Honnibal은 이 논문이 도구를 쓰는 가중치 편집과 도구 없는 가중치 해석을 뒤섞어 오해를 준다고 지적했다.