가중치 변화량 대비 효과를 재는 'leverage' 지표로 본 사후 학습과 사전 학습의 차이

What a Weight Update Buys: Leverage Across Training Stages

arXiv 논문은 가중치 업데이트 한 단위가 얼마나 행동을 바꾸는지 재는 지표 leverage를 도입했다. 이 지표는 업데이트의 Fisher 이차형식을 같은 크기의 무작위 방향과 비교해 구한다. Olmo-3, Tülu-3, Zephyr, OLMo-2 체크포인트를 측정한 결과, 사전 학습은 무작위 방향 수준이었고 DPO는 최대 23,000 수준이었다. 논문은 사전 학습 구간(3만~100만 스텝)의 업데이트가 텍스트 산문에서 같은 크기의 무작위 방향보다 더 큰 영향을 주지 않는다고 보고한다. 이는 SGD를 잡음이 섞인 이차 모델로 설명하는 예측과 일치한다고 밝혔다. 학습 정밀도도 다뤘다. fp32 마스터 가중치 없이 bf16 파라미터로 학습하면 좌표의 36~99%가 고정되고 leverage가 최대 7배까지 떨어진다고 한다. 또 DARE(무작위 drop-and-rescale)의 상대적 손상을 keep rate p에 대해 (1-p)/(p·ρ_sign)으로 예측하는 법칙을 제시했고, DARE가 성공하는 구간에서 측정치와 2배 이내로 맞는다고 보고했다.