IWIBench, 그래디언트 없이 모델 가중치를 직접 편집하는 능력 평가 벤치마크 공개

IWIBench: Evaluating Gradient-Free Model Driven Intra-weight Injection

arXiv에 공개된 IWIBench는 대형 편집 모델이 소형 대상 모델(주로 Gemma 3 4B IT)의 가중치를 직접 수정해 열 가지 고전적 텍스트 편집 목표를 달성하는 능력을 측정하는 벤치마크다. 그래디언트 없이 가중치에 주입하는 방식의 편집을 체계적으로 평가하기 위해 설계되었다. 편집기는 가중치를 읽고 쓰는 네 가지 도구만 사용할 수 있으며, 텐서 접근 범위와 롤아웃 생성·검사에 쓰는 예산이 고정되어 있다. 검증기는 제안된 패치를 깨끗한 환경에 적용해 편집된 모델을 수정 전 대상 모델과 비교한다. 평가 과제에는 어휘 연상 변경, 출력 형식 강제, 사실 지식 갱신 등이 포함되며 다른 능력은 보존되어야 한다. 프런티어 폐쇄형·공개 가중치 모델을 평가한 결과 모델별·과제별 능력 차이가 뚜렷했다. Astra와 GPT-6.1 Sol이 다른 모델보다 크게 앞섰고, 이 능력은 최근 학습을 통해 획득된 것으로 보인다. 구조화된 응답 과제는 모든 시도가 실패했고, 답변 길이 제어는 성공 사례가 하나뿐이었다. 반면 별칭 획득과 재코딩 과제는 상대적으로 잘 수행되었다. 한 과제군에서의 성공은 다른 과제군과 약하게만 연관되어, 능력 경계가 초기 단계이며 고르지 않다고 기사는 분석한다.