Phronix, 에이전트가 자신의 실행에서 재사용 가능한 역량을 축적하는 학습 패러다임 제안

Phronix: The Capability-Centric Learning Paradigm for Agents

과학 컴퓨팅의 성능 엔지니어링 작업에 쓰이는 LLM 기반 에이전트를 위해 Phronix가 제안됐다. Phronix는 predictor-validator-corrector 루프로 MCP 도구와 스킬이 해법을 제시하고, 도구 실행이 이를 검증하며, 관찰된 결과로 저장된 역량을 다듬는다. 기존 에이전트는 수작업으로 작성된 스킬과 큐레이션된 메모리에 의존해 같은 해법을 반복해서 다시 찾아야 했다. Phronix는 모든 관찰된 상호작용을 역량 저장소(capability store)로 정리하고, 실패한 작업은 포기하지 않고 조사한다. 저자들은 학습된 역량이 반복되는 작업을 모든 모델에서 93~95%의 경우 첫 시도에 해결한다고 보고했다. 사용자 지시 없이 작업당 7.6~30.8개의 지속 가능한 역량이 생성되며, 필요한 역량이 존재하면 생성 수는 2개 미만으로 떨어진다. 웜 스타트 실행은 작업당 0.38~0.40백만 토큰을 소비해 단일 베이스라인 시도보다 3~4배 적었다. 1000 Genome Pegasus 워크플로에서 I/O 성능 분석을 위해 운영 애플리케이션을 계측한 작업에서는 Phronix가 11개의 정확성 검사를 모두 통과했고, 베이스라인 하네스는 6개를 통과했다. 또한 SWE-bench 작업 해결률을 저비용 모델 두 개에서 각각 29%와 27%에서 91%와 87%로 끌어올려, 가장 비싼 평가 모델의 성능과 맞췄다.