프롬프트 캐싱이란

답변 1개

• 반복되는 긴 프롬프트(시스템·문서)를 캐시해 재호출 시 입력 토큰 비용과 지연을 크게 줄이는 기능이다. 같은 프리픽스를 여러 요청에서 재사용하는 에이전트·RAG에서 효과가 크다.

  2026년 6월 3일도움됨

  신고