AI 도움이 절약하는 시간을 측정하는 방법: 시계 기준 대 원장 기준, METR 재분석과 리뷰어 실험

Counting the Bandages: On measuring the time that AI saves

이 논문은 AI 보조가 시간을 아낀다는 말이 무엇을 뜻하는지 묻는다. 시계에 찍힌 시간만 보는 관점 대신, 작업이 놓친 결함까지 함께 계산하는 원장 관점을 제안한다. 저자는 METR 개발자 연구 공개 데이터를 다시 분석해 같은 246개 이슈에서 19% 또는 24%의 속도 저하를 확인했다. 저자는 시간 절약과 초과 유출 결함을 모델 없이 정의하고, 이 둘로 손익분기 결함 비용이라는 결정 수치를 만든다. 검수 모델에서 모델 오류율이 충분히 낮아지기 전까지 검수자의 결함 유출률은 모델 성능과 무관하며, 검수 시간은 모델 오류율의 로그에 비례해 늘어난다고 설명한다. 과신은 시계상의 분을 얻지만 전체 분 손실은 더 크다는 것이 핵심 주장이다. GDPval의 모든 산출물을 검토하는 워크플로에서는 검토 시간만으로 GPT-5의 속도 향상이 3.6배로 제한된다고 보고했다. 사전 등록된 소규모 실험에서는 SEC 제출 서류로 만든 브리프를 AI 리뷰어가 검토했는데, 드래프터의 실제 오류율을 알려주면 리뷰어는 오류율이 높을수록 더 많이 검토했지만 전부 아니면 전무 방식이었다. 오류율이 10배 낮다고 알려주자 9개 수치 중 7개를 덜 검토했고 브리프의 22.5%에서 틀린 수치가 통과했다.