LLM의 간결한 출력 방식이 비용 절감에 미치는 영향
Does telling an LLM to "be concise" actually save you money? We measured it across 9 models. Compressing the output can save you money and keep accuracy, compressing the input prompt does not. [R]
Claude Code는 간결한 출력 스타일을 도입하여 LLM의 출력 내용을 짧게 유지할 수 있게 했다. 연구 결과, 출력 내용을 줄이는 것이 평균 1.5배, 최악의 경우 3배까지 비용을 절감할 수 있으며, 이는 여러 언어에서도 효과적이었다. 반면, 입력 프롬프트를 줄이는 경우 비용이 최대 96% 증가하고 정확도가 떨어졌다. 출력 토큰이 입력 토큰보다 비용이 더 비쌌으며, 간결한 출력을 요구하는 것이 짧은 단일 작업에서 비용 절감에 도움이 된다.
출력 내용을 줄이는 것이 평균 1.5배 비용을 절감할 수 있다.
원문 출처
r/MachineLearning