고정된 세계 모델의 불확실성 보정: 배포 정책 변화에 따른 가중 컨포멀 예측 집합
Calibrated for Which Policy? Conformal Uncertainty for Fixed World Models Under Intervention
배포 정책이 바뀌면 세계 모델의 물리적 전이 메커니즘과 예측기는 그대로여도 불확실성 보정이 깨질 수 있다. 이 논문은 조건부 메커니즘이 같다는 가정 아래 정책 개입을 전이 확률 비 w(X)=dQ_X/dP_X로 식별하고, 가중 컨포멀 보정으로 목표 분포의 커버리지를 맞추는 방법을 제시한다. 정책 제어 동역학에서 이 비율은 상태 점유 항과 행동 성향 항으로 인수분해된다. 추정된 비율 ŵ를 쓰면 목표 분포에서의 커버리지는 1-α-TV(Q,Q̂) 이상으로 보장되며, 이는 1-α-E_P|w-ŵ| 이상으로 다시 쓰인다. 원천과 목표 도메인을 구분하는 분류기의 population log-loss 후회(regret) 역시 같은 비율 오차를 상한한다. 실험은 공개된 DINO 특징 기반 세계 모델과 실제 Franka 궤적을 사용했다. 가장 강한 통제된 상태-행동 이동 상황에서 일반 90% 컨포멀 집합은 55.0%만 커버했고, 오라클 비율 보정은 91.0%, 학습된 비율 보정은 90.9%를 커버했다. 학습된 대리 모델은 목표 분포와의 전체 변동 거리가 0.9% 이내였다. 저자들은 finite-support 대수 및 인과 항등식을 Lean 4로 기계 검증했다고 밝힌다.
DINO 특징 기반 세계 모델을 고정한 채 보정만 배포 분포에 맞춰 갱신하면, 같은 모델에서 90% 컨포멀 집합의 커버리지가 55.0%에서 90.9%(학습된 비율 보정)로 회복된다는 결과가 로봇 정책 교체 시 불확실성 구간 재보정의 근거가 된다.
원문 출처
arXiv cs.LG (머신러닝)