유아 규모 시각-언어 모델을 위한 균형 최적 수송 기반 지시 대상 정렬 GAVAGAI

GAVAGAI: Referential Alignment for Infant-Scale Vision-Language Models via Balanced Optimal Transport

아동이 약 1억 단어의 입력으로 단어와 대상을 연결하는 것과 달리, 같은 규모로 학습한 시각-언어 모델은 이 연결을 훨씬 덜 안정적으로 수행한다. 연구진은 다음 토큰 캡션 목적함수에 '이 단어는 저 영역을 가리킨다'를 나타내는 변수가 없다고 보고, 장면마다 단어와 영역의 할당 문제를 엔트로피 최적 수송으로 푸는 정렬 손실을 제안했다. 정렬 단계는 두 가지 제약을 둔다. 첫째, 단어는 어떤 영역 대신 NOTHING 열에 배정될 수 있는데, 이는 보호자 발화의 내용어 대부분이 눈에 보이는 대상을 지칭하지 않기 때문이다. 둘째, 어떤 영역도 할당 질량의 상한을 넘게 받을 수 없어 상호 배타성을 부호화한다. 이 정렬 단계는 Sinkhorn 반복 약 8회 정도가 필요해 시각 인코더 대비 비용이 작다. 통제된 시뮬레이션에서 모든 단어를 어떤 영역에든 강제로 배정하는 단순 행별 softmax 방식은 현실적인 비지시 비율에서 단어-그림 정확도 0.000으로 붕괴했고, 캡션 학습만의 0.058보다 낮았다. 두 제약을 둔 방식은 같은 조건에서 0.075, 깨끗한 입력에서 0.700을 기록했다. SAYCam 유아 영상 코퍼스에서는 정렬 손실을 더한 다음 토큰 캡션 모델의 단어-그림 정확도가 32.4%에서 48.7%로, 위치 추정 IoU가 0.18에서 0.38로 올랐다. 같은 아동 데이터로 학습한 대조 학습 모델은 자체 벤치마크에서 여전히 더 강해, 이 연구의 주장은 높은 비지시 비율에서 캡션 목적함수를 개선한다는 데 그친다.