논문 내 주장 검증을 위한 프레임워크 소개

Do Methods Support the Claims? Intra-Paper Verification for Peer Review

과학 논문의 제출량 증가로 인해 대형 언어 모델(LLM)을 활용한 동료 검토 지원에 대한 관심이 높아지고 있다. 기존의 자동화된 참신성 평가 방법은 논문의 주장된 기여를 이전 문헌과 비교하지만, 인간 검토자는 종종 방법론적 증거가 주장된 기여를 충분히 뒷받침하지 못한다고 지적한다. 이를 해결하기 위해, 본 연구에서는 논문 내 주장 검증(intra-paper claim verification) 프레임워크를 소개하며, 이는 논문에서 제시된 참신성 주장이 사용된 방법론에 의해 뒷받침되는지를 평가한다. 이 프레임워크는 LLM을 사용하여 서론에서 참신성 주장을 추출하고, 관련된 방법론적 증거를 검색하며, 방법이 주장된 기여를 뒷받침하는지를 평가한다. 평가 기준은 182개의 ICLR 2025 논문에서 수집된 인간 동료 검토를 통해 유도된 기준을 바탕으로 한다.