프론티어 LLM이 신경망 가중치를 직접 읽고 쓰는 'Weight-Space Programming' 재현 결과와 논쟁

[AINews] Behind Latent Space: Kill My SaaS, Jev & AI in 2026 | AIEi Shanghai

여러 연구 그룹이 프론티어 LLM이 그래디언트 학습이나 도구 없이 작은 신경망의 가중치를 직접 생성·편집할 수 있다는 결과를 재현했다. 모델 세대에 따라 능력 차이가 커서 주목받고 있다. MIT 실험을 재현한 Alex Krentsel은 최신 모델이 생성한 Breakout 네트워크가 RL로 학습한 기준선의 최대 22배 점수를 기록했다고 보고했다. Hugging Face는 오픈소스 AI 연구 하네스 ML Intern으로 논문을 재현하고 모델과 데모를 공개했다. Astra는 GPT-6 Astra가 Qwen3.5-0.8B의 가중치 131,072개를 역전파 없이 편집해 MATH-500 점수를 7.9%에서 48.1%로 올렸다고 주장했으나, 중국어 커뮤니티 Zhihu의 로그 재구성에서는 개선 폭이 헤드라인보다 좁았다. 수정된 579개 답변 중 576개는 원래 32K 토큰 한도에 걸려 반복 루프에 빠진 답변이었고, 1,152개 보류 문제에서 정확도는 10.6%에서 60.4%로 올랐다. 비판도 제기됐다. 적절한 기준선이 없다는 지적, Qwen 결과는 재귀적 자기개선이 아니라 버그 수정에 가깝다는 지적, 벤치마크에 가중치를 직접 맞추면 사실상 의미가 없다는 지적이 나왔다. Simon Willison은 노트북에서 Qwen 3.8 27B로 같은 실험을 45분 이상 걸려 재현했다고 보고했다.