쉼 없이 도는 테스트, 사람이 어디까지 돌봐야 할까요? - 토스닥터(Toss Doctor)
토스 앱은 매주 새 버전을 출시하며, 이 과정에서 5~7개의 RC 빌드를 생성하고 스모크 테스트를 진행합니다. 토스닥터 V2는 테스트 자동화를 위해 Gherkin 문법을 사용하여 검증할 내용을 정의하고, LLM과 Appium MCP를 통해 실제 디바이스에서 요소를 찾아 테스트를 실행합니다. 또한, 스마트파인더 기능을 통해 테스트 실패 시 자동으로 복구를 시도하며, 실패 원인을 분석하여 필요한 조치를 제공합니다. 이러한 방식은 토스체커로 발전하여 더 넓은 검증 영역으로 확장되었습니다.
토스닥터 V2는 테스트 자동화와 실패 복구 기능을 통해 QA 프로세스를 효율적으로 개선하고, 토스체커는 1,375개의 테스트 케이스를 3주 만에 자동화했습니다.
원문 출처
토스 테크 (Toss Tech)
2026년 상반기 기업의 AI 에이전트 도입이 '데모'에서 '프로덕션'으로 넘어가는 변곡점을 지났다. 수치가 이를 뒷받침한다. Q1 2026에 출시·업데이트된 엔터프라이즈 앱의 80%가 최소 하나의 AI 에이전트를 내장했고(2024년 33% → 급등), 실제 프로덕션에 에이전트를 1개 이상 가동 중인 기업은 31%다. 산업별 편차가 크다 — 금융·보험이 47%로 선두, 헬스케어·정부는 각각 18%·14%로 후행. ROI는 글로벌 중앙값 171%, 미국 기업은 192%이며, 도메인 특화 에이전트는 수평형 대비 평균 5배 높은 효율을 보였다. 회수기간은 SDR(영업개발) 에이전트가 3.4개월로 가장 빠르고 재무·운영은 8.9개월. 사례로는 Klarna 에이전트가 853명분 업무를 처리하며 6,000만 달러를 절감했고, JPMorgan은 매일 450개 이상 AI 유스케이스를 프로덕션에서 돌린다. Merck는 4월 Google Cloud와 최대 10억 달러 규모의 제약 분야 최대 에이전틱 딜을 체결했다.
핵심 교훈은 '수평형 범용 에이전트보다 도메인 특화가 5배 낫다'는 점이다. 한국 빌더에게 이는 산업·업무를 좁게 파고든 버티컬 에이전트가 승부처임을 뜻하며, SDR·고객지원처럼 회수기간 3~5개월의 명확한 ROI 영역부터 공략하는 게 현실적이다. 다만 31%만 프로덕션에 도달했다는 건 '데모는 쉽고 운영은 어렵다'는 신호 — 멱등성·에러 표면 단일화·HITL 게이트 같은 운영 하드닝이 도입 성패를 가른다.
Model Context Protocol의 2025-11-25 리비전은 자동화 워크플로 설계 방식을 바꾼다. 핵심은 Tasks 프리미티브로, 어떤 요청이든 즉시 task 핸들을 돌려받고 나중에 상태를 폴링해 결과를 가져오는 call-now/fetch-later 패턴을 지원한다. task는 working, input_required, completed, failed, cancelled 상태를 거치므로 장시간 멀티스텝 작업을 조율하기 쉬워진다. 또 하나는 일릴리시테이션 강화다. 서버가 작업 중간에 멈춰 사용자 입력을 요청할 수 있고, URL 모드(SEP-1036)는 OAuth·결제·API 키 같은 민감 플로를 클라이언트 안이 아니라 브라우저에서 완료하도록 URL을 건넨다. 다만 Tasks는 실험적 코어 기능으로 출시됐고, 실제 운영에서 재설계 필요성이 드러나 이후 2026-07-28 릴리스 후보에서는 스펙 본체가 아닌 Extension으로 옮겨졌다는 점은 알아둘 필요가 있다.
에이전트를 단순 for 루프로 돌리면 중간에 프로세스가 죽거나 API가 끊겼을 때 처음부터 다시 시작해야 한다. 장시간·상태 유지 에이전트를 안정적으로 운영하려면 내구 실행(durable execution) 개념이 필요하다. 핵심은 체크포인트다. 각 단계의 상태를 저장해 두면 장애가 나도 정확히 멈춘 지점부터 자동으로 이어서 재개할 수 있다. 여기에 사람 승인을 끼우는 human-in-the-loop, 영속 메모리, 스트리밍, 실패 시 자동 재시도와 복구가 더해지면 프로덕션급 에이전트의 기본기가 갖춰진다. 이런 패턴을 일급 기능으로 제공하는 대표 프레임워크가 LangGraph로, 그래프 기반 오케스트레이션에서 각 노드가 에이전트 단계를 맡고 엣지가 흐름을 정의한다. 타임트래블 디버깅과 상태 편집을 지원하는 스튜디오, 크론 스케줄링·체크포인트·재시도를 다루는 API도 제공한다. 더 강한 실행 보증이 필요하면 Temporal 같은 워크플로 엔진과 결합하는 선택지도 있다.
화면을 보고 마우스·키보드를 직접 조작해 사람처럼 GUI를 다루는 컴퓨터 유즈 에이전트가 2026년에는 실험을 넘어 하나의 제품 카테고리가 됐다. 출발점은 Anthropic이 2024년 10월 22일 public beta로 공개한 Claude의 Computer Use로, 스크린샷을 시각적으로 분석해 좌표 기반 클릭과 키 입력으로 멀티스텝 작업을 수행한다. OS에 의존하지 않는 portable한 스크린샷+마우스+키보드 툴이라 VM·컨테이너·원격 데스크톱에서 두루 동작한다. 접근법은 셋으로 갈린다. Claude는 OS 비의존 시각 제어, OpenAI Operator 계열은 별도 데스크톱 세션에서 백그라운드로 에이전트를 돌리는 방향, Google Gemini의 Computer Use는 Project Mariner에서 자라 DOM 인식과 웹 네이티브 액션으로 브라우저 워크플로에 최적화한다. 공통점은 화면을 보고 맥락을 이해하며 인터페이스가 바뀌어도 적응한다는 점이다.
API가 없는 레거시·내부 웹 시스템까지 자동화 대상으로 끌어들이는 길이라, 통합 비용이 큰 한국 기업 환경에서 자동화 범위를 크게 넓힌다.
이 브리핑에서 궁금한 점이 있다면 먼저 질문을 남겨보세요.
첫 댓글을 남겨보세요.
매일 쏟아지는 소식 중 꼭 봐야 할 것만 골라 실무 가이드와 함께 보냅니다.
핵심 뉴스 5 · 추천 가이드 3 · 인기 Q&A