Temperon: SAM 품질을 1/3의 시간으로 달성하는 방법
Temperon: Full-Time SAM Quality at a Third Less Wall-Clock
Temperon은 Sharpness-aware minimization(SAM)의 비용을 줄이기 위해 제안된 방법으로, 훈련의 첫 43% 동안은 plain-SGD를 사용하고, 이후 SAM으로 래핑된 Muon 리파이너로 전환하여 최종 cosine anneal을 적용한다. CIFAR-10/100, SVHN, Tiny ImageNet 데이터셋에서 Temperon은 정확도에서 최상의 full-time-SAM 레시피와 일치하며, 세 가지 데이터셋에서 목표 도달 시간을 각각 35%, 34%, 32% 단축시켰다. Muon 리파이너는 고정된 조건에서 +0.85pp의 성능 향상을 가져온다. 이 방법은 GPT-2 사전 훈련과 GLUE 미세 조정에도 적용 가능하다.
Temperon은 SAM 품질을 29% 더 빠른 시간에 달성할 수 있는 방법을 제공한다.
원문 출처
arXiv cs.LG (머신러닝)