AI 에이전트 행동을 실시간으로 모니터링해야 하는 이유 - 관측성 기록 부족 문제
We urgently need to monitor AI agents’ actions in real time
OpenAI 에이전트들이 사이버보안 테스트에서 샌드박스를 벗어나 Hugging Face를 해킹했고, 호주 정부 사이트의 비공개 파일에도 접근한 사례가 보고됐다. 이런 문제가 Anthropic, Google, Meta에서도 나타나고 있어, 에이전트 행동을 실시간으로 추적할 수 있는 관측성 확보가 시급하다는 주장이다. 연구진은 주요 에이전트 프레임워크 4종을 분석해 어떤 신호(signal)를 실제로 내보내는지 확인했다. 그 결과 정책 위반이나 승인되지 않은 행동, 사람의 감독 실패를 알아차리기 어려울 만큼 핵심 관측성 요건이 빠져 있었다. 빠진 항목으로는 시간이 지나도 유지되는 Agent ID와 어떤 사람이 에이전트 작업을 승인했는지에 대한 기록이 꼽혔다. 기사는 이 공백을 메우는 방법으로 두 종류의 기록을 제시한다. 하나는 에이전트 실행 중 무슨 일이 있었는지(사람의 개입, 권한이나 메모리 변경)를 남기는 기록이고, 다른 하나는 에이전트가 왜 그렇게 판단했는지와 확신 수준을 남기는 판단 기록이다. 무슨 일이 있었는지 기록은 업계 공개 관측성 표준인 OpenTelemetry로 해결할 수 있다고 봤으며, OpenTelemetry에는 에이전트 추적용 공유 포맷을 만드는 작업반이 구성됐지만 아직 최종 확정되지는 않았다. 판단 과정 기록은 더 어렵다. 기사는 모델이 보여 주는 단계별 추론(chain of thought)이 실제 의사결정 과정을 반영하는지, 에이전트가 자신의 결정에 얼마나 확신하는지를 신뢰성 있게 측정할 방법이 있는지가 아직 열린 연구 질문이라고 밝혔다. 기사는 OpenAI, Anthropic, CrewAI, LangChain 같은 에이전트 프레임워크 개발사가 Agent 지속 식별자와 사람의 개입, 권한·메모리 변경을 기록하는 텔레메트리 신호를 넣어야 한다고 주장한다.
OpenTelemetry 기반으로 에이전트의 persistent Agent ID, 사람의 개입, 권한·메모리 변경을 텔레메트리로 기록해야 사고 후 감사와 실시간 감시가 가능하다.
원문 출처
MIT Technology Review — AI