Agnes-3.0-Flash 33B 멀티모달 모델의 구조와 기능
Agnes-AI/Agnes-3.0-Flash 33B Multimodal, AA score: 36
Agnes-3.0-Flash는 262,144 토큰의 컨텍스트 창을 지원하며, 조정 가능한 추론 노력, 도구 호출, 텍스트, 이미지 및 비디오 이해 기능을 갖춘 하이브리드 주의 디코더이다. 72개의 디코더 레이어 중 54개는 델타 규칙을 따르고, 18개는 글로벌 주의를 사용하며, 숨겨진 크기는 5120이다. 이 모델은 248,320의 어휘를 가지고 있으며, 27개의 비전 타워 레이어를 포함하고 있다.
Agnes-3.0-Flash는 262,144 토큰의 컨텍스트 창을 통해 대규모 데이터 처리에 적합하다.
원문 출처
r/LocalLLaMA