긴 계약서 요약에서 중간 조항 빠지는 거 나만 그런가요

40페이지 넘어가는 계약서 요약 돌릴 때, 중간쯤 있는 조항이 자꾸 통째로 빠지는 거 나만 겪나?

프롬프트에 "모든 조항 빠짐없이" 백날 써도 한 60% 지점부터 슬슬 누락 시작. 딱 lost in the middle 그거 맞는 듯.

나는 그래서 4o에서 Claude(Sonnet)로 옮겼는데 누락이 눈에 띄게 줄긴 했음. 정량 측정은 안 했고 검수하면서 빨간펜 칠 일이 줄었다는 체감 정도. 같은 시스템 프롬프트 매번 붙이는 구조라 prompt caching이 잘 먹혀서 비용도 오히려 내려간 건 좀 의외였고.

대신 JSON 강제는 OpenAI structured output이 더 편한 건 인정. Claude는 사족 붙이려다 파싱 터진 적 있어서 tool로 박아버림.

근데 이거 모델 바꿔서 해결될 문제인지, 아님 그냥 청킹/맵리듀스로 쪼개는 게 정석인지 다들 어떻게 하시는지 궁금. 긴 문서 요약 노하우 있으면 좀…