프라이버시 보호를 위한 차별적 개인 정보 보호 추론 시간 정렬

Privacy Without Regret: Differentially Private Inference-Time Alignment

Best-of-N (BoN) 샘플링은 널리 사용되는 추론 시간 정렬 전략이지만, 보상 해킹과 민감한 인간 선호 데이터에 대한 프라이버시 보호 부족이라는 두 가지 문제를 겪고 있다. 본 연구에서는 보상 점수에 칼리브레이션된 노이즈를 추가하는 단일 개입이 이 두 문제를 해결할 수 있음을 보여준다. Private Best-of-N (PrivBoN)은 적절한 스케일의 Gumbel 노이즈가 $ ext{ε}$-차별적 프라이버시를 제공하고 KL-정규화된 정렬을 구현함을 입증한다. 프라이버시 예산이 임계값 $ ext{ε}^*$를 초과할 때, 프라이버시에 의해 요구되는 노이즈는 최적의 정규화가 되며 추가 정렬 비용이 발생하지 않는다. 또한, Private Inference-Time Pessimism (PrivITP)은 $ ext{χ}^2$-정규화된 거부 샘플링과 두 단계 가우시안 메커니즘을 결합하여 $( ext{ε}, ext{δ})$-DP를 달성한다. 실험 결과, PrivBoN과 PrivITP는 스케일링 단조성을 유지하며, PrivITP는 동등한 프라이버시 수준에서 PrivBoN과 동등하거나 더 나은 성능을 보인다.