Legora CTO 자코브 라우리첸, 고객 데이터를 볼 수 없을 때 법률 에이전트를 만드는 방법
Building Legal Agents When You Can't See the Data - Jacob Lauritzen, CTO of Legora
Legora의 CTO Jacob Lauritzen이 Latent Space 팟캐스트에서, 에이전트가 변호사를 위해 한 작업의 추적 기록을 회사가 볼 수 없는 상황에서 어떻게 에이전트를 만들고 테스트하는지 설명했다. 데이터는 로펌의 고객에게 속해 있어 평가 체계 설계가 핵심 과제가 된다. Legora는 스톡홀름의 지하실에서 ChatGPT, 스웨덴 법률, 검색 도구로 시작해 Word 문서 작성·편집, 10,000개 계약서를 하나의 표에서 검토하는 Tabular Review, 실사(due diligence) 작업까지 수행하는 에이전트로 발전했다. Jacob은 모델이 법률 업무의 약 60%를 이미 잘 처리하며 나머지는 더 똑똑한 모델이 필요하다고 추정했다. 테스트는 고객 업무를 본뜬 시뮬레이션 환경에서 엔지니어 3명과 변호사 3명이 함께 수행하며, 인용 문제는 한 번의 릴리스로 정확도가 70%에서 99%로 올라갔고 그 과정에서 별도의 수정은 필요하지 않았다고 밝혔다. 기사는 모든 것을 Azure에서 운영하는 이유로 데이터 프라이버시를 들었고, 전사(transcription) 모델로 ElevenLabs를 쓰지 않는다고 언급했다. Legora는 현재 뉴욕, 스톡홀름, 런던에서 엔지니어를 채용 중이다.
고객 데이터를 열람할 수 없는 환경에서는 시뮬레이션 기반 테스트 환경과 인용 정확도 같은 지표를 직접 설계해야 하므로, Tabular Review처럼 표 단위로 대량 문서를 처리하는 에이전트를 만드는 개발자에게 평가 체계 설계가 특히 참고가 된다.
원문 출처
Latent Space (swyx & Alessio)