Microsoft, 실제 기업 데이터 없이 Copilot을 평가하는 합성 엔터프라이즈 환경 'Industry Evaluation Data Generation Platform' 공개
From synthetic enterprise data evaluations to real Microsoft Copilot AI confidence
Microsoft Research는 실제 고객 데이터를 쓰지 않고 Microsoft Copilot을 기업 규모로 평가하기 위한 Industry Evaluation Data Generation Platform을 소개했다. 민감 정보를 담을 수 없는 실제 기업 데이터의 한계를 합성 환경으로 풀었다는 점에서 의미가 있다. 이 플랫폼은 O*NET 직업 데이터, 온라인 채용 공고, SEC 제출 문서처럼 공개된 실제 데이터를 바탕으로 조직 구조, 사용자, 회의, 이메일, 문서를 갖춘 전체 규모의 합성 환경을 만든다. 각 환경은 Microsoft 용어로 '테넌트'라 부르는 격리된 조직 공간이며, 시간에 따라 변하는 회의 이력과 프로젝트 일정, 여러 주에 걸쳐 이어지는 이메일 스레드를 포함한다. 기사는 제약·자본시장·IT 소프트웨어 등 산업별 합성 환경 세 가지를 구성했다고 밝혔고, 자동화된 콘텐츠 안전 점검으로 유해하거나 개인 식별이 가능한 자료가 생성되지 않도록 설계했다고 설명했다. 기사는 이 플랫폼이 합성 데이터 생성, 자동 질의 생성 파이프라인, 구조화된 품질 프레임워크라는 세 축으로 구성되며, Microsoft Copilot에 대한 첫 표준화된 평가 기준선을 세우는 것이 목표라고 밝혔다.
O*NET 직업 데이터와 SEC 제출 문서 같은 공개 자료로 테넌트 단위의 합성 엔터프라이즈 환경을 만들면 고객 데이터 없이도 Copilot의 시간 인식 질의(예: '지난 목요일에 팀이 무엇을 결정했는가')를 재현 가능하게 평가할 수 있다.
원문 출처
Microsoft Research Blog