Handshake AI가 본 프런티어 연구소의 데이터 구매 기준: 금융·생명과학·코딩 환경별 평가 사례
What Frontier Labs Buy: A Data Deep Dive with Handshake AI — Garrett Lord & Team
Handshake AI의 AI 학습 사업은 출시 약 1년 만에 연간 gross 매출 10억 달러에 도달했고, Latent Space는 Garrett Lord 팀과 함께 금융(ATLAS-Finance), 생명과학(VIALS), 코딩(파일 접근 시뮬레이션) 영역의 강화학습 환경을 실시간으로 시연했다. 프런티어 연구소가 어떤 데이터와 평가를 사는지 구체적으로 보여준다는 점에서 중요하다. 금융 시연에서 에이전트는 은행 이메일에서 과제를 찾고, 거래를 규율하는 파일을 판단한 뒤 워크북을 제출해야 한다. 고객 이메일의 기존 goodwill 항목 한 줄을 에이전트가 Python으로 옮겨 차감하는 과정에서 실수가 나왔고, 세금 처리 설명은 직접 물으면 정확히 답했지만 해당 코드 줄에 규칙을 적용해야 할 때 틀렸다. 생명과학 과제에서는 VIALS 벤치마크로 과학자가 쓰는 이미지를 해석하게 하며, 뇌종양 조직 슬라이드 아홉 장 중 가장 진행된 혈관 괴사 두 장을 고르는 문제를 다룬다. 코딩 시뮬레이션에서는 에이전트가 어떤 파일을 읽었는지, 복사본을 확인했는지, 이후 shell history에 무엇을 남겼는지 점검한다. 기사는 모델이 여전히 인간 수준에 못 미치는 영역으로 과학 이미지 판독과 규칙을 코드 단계에 적용하는 일을 함께 꼽는다. 최종 답변 텍스트만으로는 이런 과정을 놓친다는 점도 강조한다.
Excel 채점기(Excel grader)와 파일 접근 로그, shell history를 함께 보는 방식은 에이전트 평가에서 최종 답변 외에 중간 도구 호출을 검사해야 한다는 실무 기준이 된다.
원문 출처
Latent Space (swyx & Alessio)