Amazon Bedrock에서 OpenAI 모델 사용 시 프롬프트 캐싱으로 AI 에이전트 비용 줄이기
Groundhog Day for AI agents: Prompt caching patterns for using OpenAI models on Amazon Bedrock
AI 에이전트는 매 단계마다 도구 정의, 지침, 이전 호출 기록을 모델에 다시 보내야 한다. Amazon Bedrock의 프롬프트 캐싱은 이 반복되는 입력을 저장해 재사용하고, 입력 가격의 일부만 내도록 한다. 기사는 에이전트가 첫 호출에서 도구 목록, 지침, 히스토리, 새 턴을 모델에 보낸다고 설명한다. 모델은 요청 간 내부 메모리가 없어서 턴 20이면 턴 1~19를 다시 읽어야 하고, 그만큼의 토큰 비용이 매번 발생한다. 프롬프트 캐싱은 prefill 단계에서 만든 key-value 상태를 저장했다가, 같은 입력 토큰으로 시작하는 다음 요청에서 이를 불러와 새로 계산해야 할 부분만 처리한다. 캐싱은 Bedrock이 캐시 지점을 정하는 암묵적 방식과 코드에서 prompt_cache_breakpoint로 지점을 지정하는 명시적 방식이 있으며, 기사는 두 방식을 함께 쓰기를 권한다. 기사 예시에서 재사용 가능한 접두사는 1,024토큰 이상이어야 캐시 대상이 된다.
prompt_cache_breakpoint로 도구 목록과 지침 같은 정적 접두사를 고정하면, 매 턴 반복되는 입력 토큰 비용을 줄일 수 있다.
원문 출처
AWS Machine Learning Blog