대형 언어 모델의 전제 의존성 테스트를 위한 개입적 기초 감사

Interventional Grounding Audits: Black-Box Premise-Dependency Tests for LLM Chain-of-Thought via Predicate Substitution

대형 언어 모델은 논리적으로 타당해 보이는 사고 과정을 생성하지만, 실제로는 명시된 전제에 의존하지 않을 수 있다. 본 연구에서는 개입적 기초 감사를 도입하여, 단일 전제를 새 기호로 대체하고 모델을 재실행하여 각 추론 단계의 정규화된 결론이 변화하는지를 확인하는 블랙박스 테스트를 수행한다. GPT-4o를 사용하여 50개의 ProntoQA 문제를 평가한 결과, 증명 트리 의존성을 감지하는 데 F1 = 0.806을 달성하였고, 이는 자가 일관성 기준선(F1 = 0.343)을 크게 초과하는 성과이다. 또한, 66%의 올바르게 해결된 문제는 직접적인 증명 트리 의존성에 민감하지 않은 정렬된 단계를 포함하고 있음을 확인하였다.