Hermesundefinedtool-use 포맷, XML 태그로 함수 호출과 추론을 분리한다
HermesundefinedTool-Use & Hybrid Reasoning Format
Hermesundefined모델은 tool-use를 XML 태그 포맷으로 표현한다. 시스템 프롬프트에서 JSON function 스키마를 <tools>...</tools>로 선언하면, 모델은 <tool_call>{...}</tool_call>로 호출하고 결과는 <tool_response>로 피드백한다. 하이브리드 추론은 <think>...</think> 세그먼트로 사고를 방출하며 챗 템플릿의 thinking=True나 시스템 프롬프트로 토글한다. 서빙 시 vLLM은 --tool-call-parser hermes를, SGLang은 qwen25 파서를 쓴다. 405B와 70B는 Meta-Llama-3.1 기반(라이선스 llama3), 14B는 Qwen3-14B 기반(apache-2.0)이며 권장 샘플링은 temperature 0.6, top_p 0.95, top_k 20이다.
tool-use와 추론을 별도 태그로 명시적으로 분리하면 파싱이 단순해지고, 추론 토글로 응답 지연과 비용을 작업 난이도에 맞춰 조절할 수 있다. vLLM·SGLang 파서가 정해져 있어 자체 서빙 시 시행착오를 줄인다. 다만 14B(apache-2.0)와 상위 모델(llama3)의 라이선스가 달라, 상업 배포 전 라이선스 확인이 필요하다.
원문 출처
Hermes (Nous Research)