KSE-Web: 저자원 크메르 언어를 위한 하이브리드 검색 및 LLM 지원 쿼리 확장 분석
KSE-Web: An Analysis of Hybrid Retrieval and LLM-Assisted Query Expansion for Low-Resource Khmer Semantic Search
KSE-Web은 저자원 언어인 크메르의 의미 검색을 위한 하이브리드 검색 및 LLM 지원 쿼리 확장을 분석한 논문이다. 약 17,000개의 후보 크메르 제목과 3,000개의 정제된 크메르 문서로 구성된 데이터셋을 구축하였으며, 300개의 수동 검토된 사용자 스타일 크메르 검색 쿼리와 부분적으로 검증된 관련성 레이블을 포함한다. BM25, 다국어 밀집 검색, 하이브리드 BM25+밀집 검색, LLM 지원 쿼리 확장을 평가한 결과, BM25가 0.943의 Recall과 0.876의 nDCG로 가장 강력한 성능을 보였고, 하이브리드 방법이 유사한 성능을 나타냈다. LLM 지원 쿼리 확장은 비확장 검색보다 성능이 낮았지만, Qwen2.5-3B가 Qwen2.5-0.5B보다 더 강력한 결과를 생성하였다.
BM25가 0.943의 Recall을 달성하여 크메르 언어 검색에서 효과적인 성능을 보여준다.
원문 출처
arXiv cs.CL (계산언어학·NLP)