토스, 선택적 내재화(SNAP)로 LLM 호출 비용 절감 — 작은 모델이 처리 가능한 요청부터 전환
손가락 튕기기로 LLM 비용 줄이기
토스가 생성형 AI 호출 중 작은 모델이 높은 신뢰도로 처리할 수 있는 요청만 골라 내재화하는 선택적 내재화(SNAP, Selective Native AI Processing)를 적용해 LLM 비용을 줄였다. 첫 적용 대상인 동일상품 판별 작업에서 내재화 모델이 운영 요청의 약 33~37%를 처리했다. SNAP은 LLM 호출 로그를 시스템 프롬프트 앞부분의 해시(Task Fingerprint)로 작업 단위로 묶고, 호출량과 토큰 수 기준으로 추정 비용이 큰 상위 작업을 선정한다. 이후 응답의 정형화 여부와 레이블 분포를 검증해 통과한 작업만 Airflow 일일 배치로 학습하며, 모델 Confidence와 오프라인 검증 기준으로 기존 LLM으로 fallback할 구간을 정한다. 첫 배포는 두 상품의 이름과 옵션을 비교하는 동일상품 판별 작업으로, 목표 일치율 99.9% 조건에서 검증 요청 100,648건 중 34,963건(coverage 34.74%)을 채택했고 실제 일치율은 99.9028%였다. 목표 일치율을 99%로 낮추면 coverage는 51.59%, 95%로 낮추면 72.35%까지 높아졌다. 운영에서는 약 6일간 내재화 모델이 일별 약 33~37%의 요청을 처리했고, 같은 기간 입력 토큰 약 76억 개와 출력 토큰 약 4,520만 개를 줄였다. L4 GPU 1장 환경의 부하 테스트에서는 초당 598건 구간 p50 7.24ms, 초당 1,203건 구간 p50 9.02ms·p99 15.23ms를 기록했고 실패·드롭 요청은 없었다. 전체 요청을 한 번에 소형 모델로 대체하려면 넓은 범위의 품질을 확보해야 하고, 토스는 유사한 분류 작업을 전체 내재화하는 데 개발에 1~2개월이 걸렸다고 밝혔다. 이 때문에 SNAP은 후보 발굴과 학습을 자동화하고 검증 기준을 만족하는 요청부터 부분 적용하는 방식을 택했다. 기사는 향후 JEV 같은 판단 특화 Decision Engine 형태의 모델도 SNAP에 활용할 수 있을지 실험 중이라고 밝혔다.
프롬프트 시스템 앞부분 해시로 작업을 분리하고, Confidence 임계값을 목표 일치율(예: 99.9%)에 맞춰 조정해 LLM fallback을 구성하면, 전체 모델 교체 없이 운영 중 LLM 토큰 비용을 부분적으로 줄일 수 있다.
원문 출처
토스 테크 (Toss Tech)