SproutRAG: 주의 기반 계층적 RAG 프레임워크

SproutRAG: Attention-Guided Tree Search with Progressive Embeddings for Long-Document RAG

SproutRAG는 정보 검색과 문맥 일관성을 균형 있게 조정하는 주의 기반 계층적 RAG 프레임워크이다. 이 시스템은 문장 수준의 청크를 점진적으로 더 큰 의미 단위로 조직하고, 학습된 문장 간 주의를 사용하여 이진 청크 트리를 구성한다. 기존 방법들과 달리 SproutRAG는 외부 LLM 호출이나 손실 요약 없이 다중 수준 검색을 가능하게 하며, 계층적 빔 검색을 통해 여러 수준의 후보를 검색한다. 실험 결과, SproutRAG는 네 가지 벤치마크에서 평균 6.1%의 정보 효율성을 개선하였다. 코드가 https://github.com/AmirAbaskohi/SproutRAG에서 제공된다.