News
Spark X2.6 4B, 도구 호출 성능이 뛰어난 소형 로컬 LLM으로 소개됨
Spark X2.6 4B is the best of it's size
r/LocalLLaMA에 올라온 글에서 Spark X2.6 4B 모델이 같은 크기 대비 가장 좋은 성능을 보인다는 평가가 소개되었다. 작성자는 pi cli에서 도구 호출을 테스트한 결과를 공유했다. 작성자는 temp 1.0 외에는 다른 파라미터를 설정하지 않았다고 밝혔다. 첫 번째 테스트에서는 Blender용 Python 스크립트를 작성해 빨간 큐브를 만들고, 회전시킨 뒤 렌더링하도록 요청했다. 두 번째로는 복잡한 Rust 코드베이스를 이해시키고, 앱의 한 부분과 다른 부분에서 동작 방식이 조금 다른 지점을 설명하도록 했다. 이때 도구 호출은 12회였으며 작성자는 요점에 맞게 답했다고 평가했다. 세 번째로는 skills와 extensions 없이 pi cli를 실행했음에도 전역 agents.md를 찾아 이해하고, 매 턴마다 변경된 파일 목록을 작성했다고 전했다. 작성자는 모델이 작고 빠르며 KV 캐시도 작다고 설명했고, 사고 과정이 절제되어 있고 핵심을 짚는다고 평가했다. MTP 지원은 곧 나올 예정이라고 언급했다. 반면 비전 기능은 없다고 밝혔다.
4B 규모에서 pi cli 기반 도구 호출과 Rust 코드베이스 분석을 수행했다는 점은 로컬 에이전트 환경을 구성하는 개발자에게 참고가 될 수 있으나, 기사에 제시된 벤치마크 수치는 없다.
원문 출처
r/LocalLLaMA