AI 코딩 에이전트 비용을 토큰 대신 병합된 풀 리퀘스트 단위로 측정해야 한다는 주장

Stop counting tokens, start counting what ships

AI 코딩 에이전트는 계획·코드 생성·테스트·재시도를 반복하며 단일 작업에 기본 채팅 프롬프트보다 10~50배 많은 토큰을 쓸 수 있어 토큰당 과금 구조에서 비용이 급증한다. 기사는 토큰 사용량 대신 검토를 통과해 병합된 풀 리퀘스트 1건당 비용을 핵심 지표로 삼아야 한다고 주장한다. 기사는 Uber가 Claude Code 사용을 확대한 뒤 2026년 AI 예산 전체를 4월까지 소진했다고 보도됐다고 전하고, GitHub Copilot이 정액제에서 종량제 크레딧으로 바뀐 사례와 Gartner가 2028년 AI 코딩 토큰 비용이 개발자 평균 연봉을 넘어설 것으로 예측했다는 내용을 함께 든다. 대안으로 제시되는 방식은 고성능 모델은 어려운 계획과 새로운 추론에만 쓰고, 일상적인 코드 생성·테스트 작성·반복 리팩터링은 직접 운영하는 오픈웨이트 모델로 라우팅하는 것이다. HPE는 150여 개 내부 애플리케이션의 일상 워크로드를 온프레미스 오픈웨이트 모델로 옮겨 토큰 비용을 30~50% 낮췄다고 기사에 소개된다. 기사는 소수의 헤비 사용자가 대부분의 소비를 만든다는 점도 짚는다. 상위 5% 사용자가 소비의 대부분을 차지하고, 같은 라이선스에서 가장 많이 쓰는 사용자는 가장 적게 쓰는 사용자의 약 450배를 소비했다고 한다. 또 오픈웨이트 모델이 일부 소프트웨어 엔지니어링 벤치마크에서 최상위 모델에 근접한다는 점은 인정하면서도, 그것이 모든 저장소와 워크플로에서 동등함을 뜻하지 않으므로 실제 코드와 테스트로 평가한 뒤 운영 작업에 배정해야 한다고 단서를 단다.