고객 문의 1차 분류 자동화: 룰+LLM 하이브리드로 리드타임 3.5시간→50분

배경: 아침마다 200건을 눈으로 분류했다

한국어 SaaS 고객 문의가 이메일·인앱 문의·카카오 채널로 하루 평균 300건 넘게 들어왔습니다. 밤사이 쌓인 걸 아침에 담당자가 눈으로 훑어 카테고리(결제/계정/버그/기능문의/해지/기타)와 긴급도를 붙이고 팀에 배정했습니다. 이 분류에만 매일 40분 넘게 썼고, 이중청구 같은 긴급 건이 일반 큐에 묻혀 몇 시간씩 늦게 처리되는 게 진짜 문제였습니다.

손대기 전에 지난 문의 500건을 사람이 직접 라벨링해 평가셋부터 만들었습니다. 이게 없었으면 아래 수치는 전부 느낌으로 끝났을 겁니다.

전량 자동화부터 시도했다가 데었습니다

처음엔 분류·라우팅·FAQ 자동응답까지 LLM에 통째로 맡겼습니다. 두 군데서 무너졌습니다. 하나, 자동응답이 엉뚱한 FAQ를 매칭해 관련 없는 정형 답변이 나가며 컴플레인이 늘었습니다. 둘, LLM이 긴급도를 과하게 매기거나 반대로 이중청구 건을 일반으로 떨어뜨렸습니다. 그 한 건이 6시간 방치되자 CS팀이 시스템을 아예 안 믿게 됐습니다. 평가셋 기준 오분류율 18%였는데, 자동응답까지 얹으니 체감 리스크는 그 숫자보다 훨씬 컸습니다.

룰이 먼저, LLM은 꼬리, 사람은 위험 구간만

룰 레이어가 먼저 고정밀 패턴만 걷어냅니다. "환불", "결제 안 됨", "로그인 안돼요" 같은 명확한 키워드는 정규식으로 바로 태깅합니다. 단 "결제일 언제 바뀌나요"는 긴급 결제오류가 아니므로, 애매하면 룰이 판단하지 않고 넘깁니다. 전체의 약 40%가 여기서 끝납니다.

나머지 60%는 gpt-4o-mini가 structured output으로 분류하고, confidence를 함께 반환합니다. 0.7 미만은 수동 큐로 보냅니다.

{ "category": "payment", "urgency": "high", "confidence": 0.62 }

사람 검수는 세 곳만 남겼습니다. 긴급 태그된 건은 전량 확인(볼륨이 5% 남짓이라 눈으로 봐도 저렴합니다), confidence 0.7 미만은 수동 큐, '기타'가 주간 단위로 튀면 룰·프롬프트를 갱신합니다. 자동응답은 뺐습니다. 태깅과 라우팅만 자동이고, 답변은 사람이 씁니다.

무엇이 바뀌었고, 언제는 하지 말아야 하나

1차 응답 리드타임 중앙값이 3.5시간에서 50분으로 줄었습니다. 큰 효과는 분류 자동화 자체보다 긴급 건이 위로 떠서 먼저 처리된다는 데서 왔습니다. 하이브리드 오분류율은 6.5%, 사람 검수 게이트를 통과한 최종 라우팅 오류는 2% 미만입니다. LLM 비용은 월 몇 달러 수준이라 논외였습니다.

트레이드오프는 분명합니다. 룰은 정밀하지만 새 문의 유형마다 손이 갑니다. LLM은 다양성은 받아주지만 긴급도를 과장하는 버릇이 있어 가드가 필수입니다.

문의량이 하루 수십 건 이하거나 카테고리가 적고 고정적이면 룰만으로 충분합니다. 이때는 프롬프트 관리·평가셋·모니터링 오버헤드가 이득을 넘습니다. 저희도 룰만으로 90%가 커버됐다면 LLM은 붙이지 않았을 겁니다.