Microsoft Research, 코딩 에이전트 실패 원인 분석·자가 개선 에이전트 프레임워크 ForkPilot·TeleTune 등 소개

Microsoft Research Focus – Edition #97

Microsoft Research Focus 제97호는 코딩 에이전트의 성공과 실패 요인을 분석하는 CABRA 프레임워크, 자가 개선형 에이전트 프레임워크 ForkPilot, 사용자 활동 로그로 에이전트 스킬을 학습하는 TeleTune 등 최신 연구를 소개했다. 개발자가 에이전트를 더 안정적이고 효율적으로 운영하는 데 참고할 만한 내용이다. ForkPilot은 여섯 개 벤치마크와 주요 AI 모델에서 테스트되었으며, 기존 최고 수준 방법과 견줄 만한 성능을 보이면서 AI 처리 요구량을 최대 59%까지 줄였다고 기사는 전했다. CABRA는 코딩 과제를 처음부터 생성해 복잡도를 통제된 방식으로 높이고 에이전트가 특히 어려워하는 기술을 짚어낸다. 수천 개의 생성된 과제에서 에이전트는 도구를 사용해 문제를 해결하는 경우가 많았지만, 익숙하지 않은 코드베이스를 이해해야 할 때는 여전히 어려움을 겪었다고 한다. 기사에 따르면 이는 코드를 수정하는 것보다 기존 코드를 이해하는 능력이 더 효과적인 코딩 에이전트 개발의 가장 큰 걸림돌 중 하나임을 시사한다. TeleTune은 사용자 활동 로그에서 재사용 가능한 스킬과 워크플로를 학습하고, 행동 순서에 연결된 작업 목표도 추론한다. 기사는 소프트웨어와 브라우저 작업 평가에서 TeleTune이 기존 접근법을 앞섰다고 밝혔다.