FinEvolveKG: 금융 지식그래프 구축을 위한 제어 가능한 프롬프트 진화 기법
FinEvolveKG: Controlled and Attributable Prompt Evolution for Financial Knowledge Graph Construction
금융기관은 SEC 10-K 보고서로부터 지식그래프를 구축해 리스크 분석, 포트폴리오 관리, 투자 리서치에 활용하며, 분석 목적에 따라 필요한 추출 방식이 다르다. FinEvolveKG는 재사용 가능한 일반 블록과 페르소나 정책 블록을 분리하고, 반성형 프롬프트 최적화기 GEPA의 수정 범위를 지정된 블록으로 제한하는 지식그래프 구축 하네스다. 일반 블록은 페르소나 적응 과정에서 바이트 단위로 고정되며, 옵티마이저의 모든 수정은 별도 버전으로 관리되는 페르소나 정책 안으로만 국한된다. 목적 함수는 범용 시간적 지식그래프 품질과 페르소나 관련 사실, 모티프, 다중 홉 연결성을 함께 고려한다. 티커가 겹치지 않도록 나눈 10-K 분할에서 다섯 가지 변이 범위를 평가했다. 세 개 시드 평균 기준으로 두 단계 블록 제약 워크플로(v4)는 고정 프롬프트 기준선(v1) 대비 19.4~30.9%, 제약 없는 전체 프롬프트 워크플로(v5) 대비 2.2~6.4% 향상되었으며, 세 페르소나 모두에서 쌍별 9개 비교를 모두 이겼다. 블라인드 SME 감사에서는 대조 강화 판단의 70.1%에서 v4가 v5보다 선호되었다.
프롬프트 변경을 블록 단위로 격리해 검토 가능한 형태로 버전 관리하면서도, 제약 없는 전체 프롬프트 진화(v5)보다 높은 성능을 보였다는 점이 10-K 기반 지식그래프 구축 파이프라인 설계에 참고가 된다.
원문 출처
arXiv cs.CL (계산언어학·NLP)