AWS에서의 작업 인식 지식 압축(TAKC) 소개

Beyond RAG: Task-aware knowledge compression for enterprise AI on AWS

Retrieval-Augmented Generation(RAG)을 사용하는 복잡한 분석 작업에서 발생하는 한계를 해결하기 위해, 작업 인식 지식 압축(Task-aware knowledge compression, TAKC) 기술이 소개되었다. 이 기술은 전체 지식 기반을 작업별로 압축하여 AWS에 배포할 수 있도록 한다. TAKC는 LLM을 활용해 문서의 짧고 작업 중심의 요약을 생성하며, 각 작업에 따라 서로 다른 요약을 제공한다. 시스템은 문서를 오프라인에서 압축하고, 쿼리 시 압축된 표현을 사용하여 질문에 답변한다. 이 과정에서 문서 간의 연결성을 유지하며, 압축 비율은 8배에서 64배까지 다양하다.