XingChen-AGI의 Xing4.0-29B-A4B 모델 소개
XingChen-AGI/Xing4.0-29B-A4B MoE
Xing4.0-29B-A4B는 중국 텔레콤 인공지능 기술 회사에서 개발한 차세대 대형 언어 모델로, 총 29B 파라미터를 가지며, 토큰당 4B가 활성화된다. 이 모델은 256K의 컨텍스트 길이를 기본으로 지원하며, 512K로 확장 가능하다. Ascend NPU 플랫폼에서 MindSpore 프레임워크를 사용하여 훈련된 최초의 모델로, 복잡한 엔지니어링 작업에 최적화되어 있다. 또한, 다단계 계획, 도구 호출 및 복잡한 추론 체인 실행을 지원하는 에이전트 지향 아키텍처를 갖추고 있다.
Xing4.0-29B-A4B는 256K의 컨텍스트 길이를 지원하여 긴 문맥을 처리하는 데 유리하다.
원문 출처
r/LocalLLaMA