STARFlow2: 언어 모델과 정규화 흐름을 통한 통합 멀티모달 생성
STARFlow2: Bridging Language Models and Normalizing Flows for Unified Multimodal Generation
통합 멀티모달 모델은 텍스트-이미지 시퀀스를 이해하고 생성하는 데 있어 구조적으로 단편화되어 있다. 기존 접근 방식은 시각적 충실도를 희생하거나 구조적 비대칭을 초래하며, 비전-언어 모델을 생성에 적응할 때 사전 훈련된 이해도를 저하시킨다. 자가 회귀 정규화 흐름은 자가 회귀 변환기로, LLM과 동일한 인과 마스크, KV-캐시 메커니즘 및 좌에서 우로의 구조를 공유한다.
자가 회귀 정규화 흐름은 LLM과 유사한 구조를 가지고 있어, 멀티모달 생성에서의 효율성을 높일 수 있다.
원문 출처
Apple Machine Learning Research