Surrogate의 로그 확률로 블랙박스 LLM 에이전트 감사하기

Proxy Confidence: Auditing Black-Box LLM Agents with a Surrogate's Log-Probabilities

LLM 에이전트는 도구 호출, 쿼리 및 코드를 생성하지만, 오류가 발생할 때까지 이를 인지하지 못할 수 있다. Frontier 채팅 API는 모델의 토큰 확률을 숨기며, 에이전트의 신뢰도는 중요한 실수에서 우연의 결과를 겨우 초과한다. 이 연구는 저비용의 오픈 웨이트 서러겟을 사용하여 에이전트와 병행하여 실행하며, 호출을 평가하기 위해 다양한 보조 도구를 활용한다. 어려운 코딩 작업에서 AUROC 0.825를 달성하며, 에이전트의 신뢰도가 0.598에 불과할 때도 있다. 이 신호는 실시간 게이트 및 신뢰도 피드백의 두 가지 배포 모드를 구동한다.