정규성을 고려한 확률적 다목적 경량화 알고리즘 제안

Regularity-Aware Stochastic MGDA with Adaptive Conflict-Avoidant Update Direction Control

다목적 학습(MOL)은 여러 목표를 동시에 최적화하는 것을 목표로 한다. 기존의 확률적 다목적 경량화 알고리즘(SMG)은 미니 배치 샘플링으로 인해 경량화 방향에 편향이 생겨 빠른 수렴 속도가 부족하다. 본 논문에서는 CA 방향이 야코비안 행렬에 대해 $1/2$-홀더 연속임을 보이고, 추가적인 정규성 조건 하에 Lipschitz 연속으로 개선할 수 있음을 제안한다. 이를 바탕으로, 정규성이 있는 경우 CA 방향 업데이트를 활용하고 그렇지 않은 경우 고정된 스칼라화 가중치로 전환하는 확률적 다목적 정규성 인식 방법(MoRe)을 제안한다. 이 방법은 비볼록 설정에서 SMG의 수렴 속도를 $ ilde{ ext{O}}(T^{-1/4})$에서 $ ilde{ ext{O}}(T^{-1/2})$로 개선한다.