Qwen 3.8 모델의 Jinja 채팅 템플릿 수정 사항
Fixed Jinja chat template for Qwen 3.5, 3.6, and the new 3.8 release
Qwen은 3.8 모델을 출시했다. 3.8의 주요 추가 기능은 prompt-steered reasoning effort로, <code>reasoning_effort</code>를 <code>xhigh</code>, <code>medium</code>, <code>low</code>로 설정하여 모델의 사고 깊이를 조절할 수 있다. 그러나 공식 템플릿에는 여러 문제가 있으며, 이를 해결한 Jinja 템플릿이 제공된다. 이 템플릿은 3.8의 reasoning effort를 지원하고, 사고 전환 기능을 복원하며, KV Cache를 100% 활용하고, Python dict와 JSON 문자열을 모두 처리할 수 있다.
3.8 모델의 <code>reasoning_effort</code> 기능을 통해 모델의 사고 깊이를 조절할 수 있다.
원문 출처
r/LocalLLaMA