MiniCPM-V 4.7, 35B MoE 비전-언어 모델이 모바일에서 실행
A 35B multimodal model running on a phone with ~3GB memory? MiniCPM-V 4.7 demo is pretty wild
OpenBMB의 MiniCPM-V 4.7 데모에서 35B-A3B MoE 비전-언어 모델이 모바일 기기에서 실행되는 모습을 보여주었다. 이 모델은 실제 표지판 읽기, 복잡한 문서 이해, 시각 정보에 대한 추론, 현실 제약을 고려한 계획 수립 등의 사용 사례를 지원한다. LES(Lookahead Expert Scheduling) 기능을 통해 MoE 추론을 최적화하여 병목 현상을 줄인다. 또한, 자원 제약이 있는 기기를 위한 MiniCPM-V 4.7 1B 모델과 특정 작업에 맞춰 모델을 사용자 정의할 수 있는 Self-Replay Fine-Tuning(SRFT) 기능도 제공된다.
MiniCPM-V 4.7는 모바일 기기에서 강력한 멀티모달 어시스턴트를 가능하게 하여 클라우드에 의존하지 않고도 다양한 작업을 수행할 수 있게 한다.
원문 출처
r/LocalLLaMA