Amazon Bedrock에서 쿼리 인식 압축으로 RAG 비용 절감하기
Reduce RAG costs on Amazon Bedrock with query-aware compression
Amazon Bedrock은 Retrieval Augmented Generation (RAG) 애플리케이션을 구축하기 위한 기초 모델과 기능을 제공한다. 쿼리 인식 압축을 통해 모델에 도달하는 입력 토큰 수를 줄여 비용을 절감할 수 있으며, 이 과정에서 답변 품질을 유지할 수 있다. 이 방법은 Amazon Bedrock의 Knowledge Bases와 호환되며, 사용자의 쿼리에 따라 필터링된 컨텍스트를 제공하여 관련 없는 맥락을 제거함으로써 환각의 가능성을 줄인다.
쿼리 인식 압축은 Amazon Bedrock에서 입력 토큰 수를 줄여 비용을 절감하는 효과적인 방법이다.
원문 출처
AWS Machine Learning Blog