NVIDIA Nemotron 3.5 Super VL, Amazon SageMaker JumpStart에서 사용 가능
NVIDIA Nemotron 3.5 Super VL is now available in Amazon SageMaker JumpStart
NVIDIA의 비전-언어 모델 Nemotron 3.5 Super VL이 Amazon SageMaker JumpStart에서 제공된다고 발표되었다. 이미지, 영상, 텍스트를 입력받아 텍스트를 생성하는 이 모델은 문서 인텔리전스, GUI 이해, 영상 질의응답 같은 에이전트 워크로드를 겨냥한다. 모델은 토큰당 12B 활성 파라미터를 갖는 120B 파라미터 하이브리드 Mixture-of-Experts 언어 백본과 C-RADIO 비전 인코더로 구성된다. 백본은 Mamba-2와 MoE 레이어를 교차 배치한 88개 레이어에 어텐션 레이어 8개를 더한 구조이며, 컨텍스트 길이는 최대 100만 토큰을 지원한다. 내장된 Multi-Token Prediction 헤드로 추측 디코딩을 지원하고, 요청별로 추론(reasoning)을 설정할 수 있다. JumpStart에서는 추론 최적화용 NVFP4 variant와 커스터마이징용 BF16 variant 두 가지를 제공한다. NVFP4는 BF16에서 양자화 인지 증류로 만든 체크포인트로 약 75GB이며 기본 인스턴스는 ml.g7.24xlarge다. BF16은 약 249GB이며 ml.p5en.48xlarge에서 제공된다. JumpStart 서빙 구성에서는 컨텍스트를 520~15,600 토큰으로 사용하며, 요청당 이미지 1장과 영상 1개를 받는다. 1,536 x 1,024 페이지 이미지는 약 1,536 토큰을 차지한다. 추측 디코딩의 내장 MTP 헤드는 JumpStart 서빙 구성에서 활성화되어 있지 않고, LoRA 어댑터 서빙도 지원되지 않는다. 지원 언어는 영어, 프랑스어, 독일어, 이탈리아어, 일본어, 스페인어, 중국어이며, 라이선스는 OpenMDW License Agreement 1.1이다.
JumpStart의 NVFP4 variant(약 75GB, ml.g7.24xlarge 기본)와 BF16 variant(약 249GB, ml.p5en.48xlarge)를 비교해 추론 배포 또는 SFT·RL 커스터마이징 용도로 선택할 수 있다.
원문 출처
AWS Machine Learning Blog