GLM-5.3-Flash 모델 출시
[Megathread] GLM-5.3-Flash - former ox-alpha
GLM-5.3-Flash는 GLM-5 시리즈의 첫 번째 네이티브 멀티모달 모델로, glm5_next 아키텍처의 첫 번째 오픈 웨이트 릴리스이다. 이 모델은 320B 파라미터를 가지며, 45개의 레이어로 구성되어 있다. GLM-5.3-Flash는 하이브리드 희소 및 선형 주의 메커니즘을 사용하고, 30T 토큰의 멀티모달 데이터로 훈련되었다. 또한, FP8 형식으로 제공되며, 1,048,576 토큰의 컨텍스트 길이를 지원한다.
GLM-5.3-Flash는 GLM-5.2보다 10배 저렴한 가격으로 성능을 향상시키며, 320B 파라미터를 통해 복잡한 멀티모달 작업을 처리할 수 있다.
원문 출처
r/LocalLLaMA