Hermes 4의 도구 사용 포맷은 어떻게 동작하나요?
Hermes 4의 도구 사용 포맷은 어떻게 동작하나요?
답변 1개
Hermes 4는 도구 정의와 호출, 결과를 각각 태그로 구분한다. <tools>로 사용할 도구를 정의하고, <tool_call> 안에 JSON으로 호출을 표현하며, <tool_response>로 결과를 받는다. 스키마를 준수하는 JSON을 생성하며, 망가진 JSON은 자가 복구를 시도한다.
명시적 추론을 위한 <think>…</think> 블록과 도구 호출을 같은 턴 안에서 함께 다룰 수 있어, 추론하면서 도구를 부르는 흐름을 한 모델로 구성할 수 있다. 서빙 측면에서는 vLLM과 SGLang의 자동 파서를 지원해, 자체 호스팅 추론 환경에서 도구 사용 파이프라인을 붙이는 비용을 낮춘다.