훈련 없는 결정론적 파이프라인을 통한 대형 언어 모델의 프롬프트 압축

Lexical Prompt Compression for Large Language Models: A Training-Free, Deterministic Pipeline with Empirical Pareto Analysis Across Eleven Task Categories

최근 대형 언어 모델(LLM)의 발전으로 프롬프트가 점점 더 복잡해지고 있다. 본 연구에서는 훈련이 필요 없는 결정론적 CPU 전용 파이프라인을 통해 11개의 토글 가능한 어휘 변환을 조합하여 출력 품질이 크게 저하되기 전까지 압축을 시도하였다. 15개의 구성에서 1,242개의 영어 프롬프트를 평가한 결과, 가장 공격적인 구성은 평균 40.3%의 토큰 감소를 달성했으며, BLEU, ROUGE, BERTScore 등을 사용하여 출력 보존을 측정하였다. 또한, 일반적인 상식 추론이 공격적인 압축 하에서 체계적인 실패 모드로 나타났다.