LLM 비용 어떻게 줄여
LLM 비용 어떻게 줄여
답변 1개
반복되는 시스템 프롬프트·컨텍스트는 프롬프트 캐싱으로 토큰을 재사용하고, 작업 난이도별로 모델을 분기해 단순 작업엔 저가 모델을 쓴다. 불필요하게 긴 컨텍스트를 줄이는 것만으로도 비용이 크게 떨어진다.
LLM 비용 어떻게 줄여
반복되는 시스템 프롬프트·컨텍스트는 프롬프트 캐싱으로 토큰을 재사용하고, 작업 난이도별로 모델을 분기해 단순 작업엔 저가 모델을 쓴다. 불필요하게 긴 컨텍스트를 줄이는 것만으로도 비용이 크게 떨어진다.