ZGCM-1: 완전 개방형 7B 밀집 기초 모델
ZGCM-1: A Fully Open and Extremely Efficient Foundation Model for Math and Agentic Search
ZGCM-1은 7B 밀집 기초 모델로, 극단적인 데이터, 시스템 및 알고리즘 효율성으로 처음부터 훈련되었다. 이 모델은 256K 컨텍스트를 지원하며, 내부 사고와 외부 도구 사용을 결합하여 매개변수 용량 한계를 극복하는 것을 목표로 한다. ZGCM-1은 7B 모델 패밀리의 일반 벤치마크에서 경쟁력을 보이며, Qwen3-235B-A22B 및 GLM-5.1과 같은 대형 모델과도 경쟁력을 유지한다. 또한, 16K 사전 훈련 시간 대비 손실 효율성을 약 4.2배 향상시킨다. 이 모델의 가중치는 사전 훈련, 중간 훈련 및 후 훈련 단계에서 오픈 소스로 제공된다.
ZGCM-1은 256K 컨텍스트를 지원하며, 16K 사전 훈련 시간 대비 손실 효율성을 약 4.2배 향상시킨다.
원문 출처
arXiv cs.AI (인공지능)