쉼 없이 도는 테스트, 사람이 어디까지 돌봐야 할까요? - 토스닥터(Toss Doctor)
토스 앱은 매주 새 버전을 출시하며, 이 과정에서 5~7개의 RC 빌드를 생성하고 스모크 테스트를 진행합니다. 토스닥터 V2는 테스트 자동화를 위해 Gherkin 문법을 사용하여 검증할 내용을 정의하고, LLM과 Appium MCP를 통해 실제 디바이스에서 요소를 찾아 테스트를 실행합니다. 또한, 스마트파인더 기능을 통해 테스트 실패 시 자동으로 복구를 시도하며, 실패 원인을 분석하여 필요한 조치를 제공합니다. 이러한 방식은 토스체커로 발전하여 더 넓은 검증 영역으로 확장되었습니다.
토스닥터 V2는 테스트 자동화와 실패 복구 기능을 통해 QA 프로세스를 효율적으로 개선하고, 토스체커는 1,375개의 테스트 케이스를 3주 만에 자동화했습니다.
원문 출처
토스 테크 (Toss Tech)
2026년 상반기 기업의 AI 에이전트 도입이 '데모'에서 '프로덕션'으로 넘어가는 변곡점을 지났다. 수치가 이를 뒷받침한다. Q1 2026에 출시·업데이트된 엔터프라이즈 앱의 80%가 최소 하나의 AI 에이전트를 내장했고(2024년 33% → 급등), 실제 프로덕션에 에이전트를 1개 이상 가동 중인 기업은 31%다. 산업별 편차가 크다 — 금융·보험이 47%로 선두, 헬스케어·정부는 각각 18%·14%로 후행. ROI는 글로벌 중앙값 171%, 미국 기업은 192%이며, 도메인 특화 에이전트는 수평형 대비 평균 5배 높은 효율을 보였다. 회수기간은 SDR(영업개발) 에이전트가 3.4개월로 가장 빠르고 재무·운영은 8.9개월. 사례로는 Klarna 에이전트가 853명분 업무를 처리하며 6,000만 달러를 절감했고, JPMorgan은 매일 450개 이상 AI 유스케이스를 프로덕션에서 돌린다. Merck는 4월 Google Cloud와 최대 10억 달러 규모의 제약 분야 최대 에이전틱 딜을 체결했다.
핵심 교훈은 '수평형 범용 에이전트보다 도메인 특화가 5배 낫다'는 점이다. 한국 빌더에게 이는 산업·업무를 좁게 파고든 버티컬 에이전트가 승부처임을 뜻하며, SDR·고객지원처럼 회수기간 3~5개월의 명확한 ROI 영역부터 공략하는 게 현실적이다. 다만 31%만 프로덕션에 도달했다는 건 '데모는 쉽고 운영은 어렵다'는 신호 — 멱등성·에러 표면 단일화·HITL 게이트 같은 운영 하드닝이 도입 성패를 가른다.
Model Context Protocol의 2025-11-25 리비전은 자동화 워크플로 설계 방식을 바꾼다. 핵심은 Tasks 프리미티브로, 어떤 요청이든 즉시 task 핸들을 돌려받고 나중에 상태를 폴링해 결과를 가져오는 call-now/fetch-later 패턴을 지원한다. task는 working, input_required, completed, failed, cancelled 상태를 거치므로 장시간 멀티스텝 작업을 조율하기 쉬워진다. 또 하나는 일릴리시테이션 강화다. 서버가 작업 중간에 멈춰 사용자 입력을 요청할 수 있고, URL 모드(SEP-1036)는 OAuth·결제·API 키 같은 민감 플로를 클라이언트 안이 아니라 브라우저에서 완료하도록 URL을 건넨다. 다만 Tasks는 실험적 코어 기능으로 출시됐고, 실제 운영에서 재설계 필요성이 드러나 이후 2026-07-28 릴리스 후보에서는 스펙 본체가 아닌 Extension으로 옮겨졌다는 점은 알아둘 필요가 있다.
에이전트를 단순 for 루프로 돌리면 중간에 프로세스가 죽거나 API가 끊겼을 때 처음부터 다시 시작해야 한다. 장시간·상태 유지 에이전트를 안정적으로 운영하려면 내구 실행(durable execution) 개념이 필요하다. 핵심은 체크포인트다. 각 단계의 상태를 저장해 두면 장애가 나도 정확히 멈춘 지점부터 자동으로 이어서 재개할 수 있다. 여기에 사람 승인을 끼우는 human-in-the-loop, 영속 메모리, 스트리밍, 실패 시 자동 재시도와 복구가 더해지면 프로덕션급 에이전트의 기본기가 갖춰진다. 이런 패턴을 일급 기능으로 제공하는 대표 프레임워크가 LangGraph로, 그래프 기반 오케스트레이션에서 각 노드가 에이전트 단계를 맡고 엣지가 흐름을 정의한다. 타임트래블 디버깅과 상태 편집을 지원하는 스튜디오, 크론 스케줄링·체크포인트·재시도를 다루는 API도 제공한다. 더 강한 실행 보증이 필요하면 Temporal 같은 워크플로 엔진과 결합하는 선택지도 있다.
아직 댓글이 없습니다. 첫 의견을 남겨 주세요.