JEPA 스타일 월드 모델을 위한 스펙트럴-타겟 물리적 잠재 구조화
Spectral-Target Physical Latent Structuring for JEPA-Style World Models
잠재 월드 모델은 픽셀 공간이 아닌 잠재 공간에서 예측 및 계획하는 방법으로 인기를 얻고 있다. 최근 LeWorldModel(LeWM) 아키텍처는 SIGReg와 같은 정규화 기법을 사용하여 인코더와 예측기를 공동 훈련하지만, 동적 환경에서 '물리적 표현 게으름'이라는 새로운 실패 모드를 발견했다. 이를 해결하기 위해 '푸리에 보조 헤드'를 사용하여 훈련 시 보조 감독을 제안하며, 이는 잠재 공간의 물리적 구조화를 강제하고 추가적인 추론 시간 비용 없이 다양한 환경에 일반화될 수 있다. 실험 결과, 이 보조 헤드는 동적 환경에서 계획 성공률을 크게 향상시키며, 저데이터 환경에서도 성공률을 증가시키는 데 효과적이다.
푸리에 보조 헤드는 LeWM의 물리적 표현 게으름을 방지하고 전체 성공률과 데이터 효율성을 개선하는 데 기여한다.
원문 출처
arXiv cs.LG (머신러닝)