RIG-RoPE: 관계 및 인스턴스 게이트 회전 위치 인코딩과 지속 시간 인식 시계열 좌표
RIG-RoPE: Relation- and Instance-Gated Rotary Positional Encoding with Duration-Aware Temporal Coordinates
RIG-RoPE는 정적 다차원 위치 할당의 두 가지 한계를 해결하기 위한 관계 및 인스턴스 게이트 RoPE 메커니즘이다. 이 방법은 각 토큰에 모달리티 지표, 시각적 인스턴스 식별자, 정보 지속 시간 좌표를 추가하여, 동일한 시각적 인스턴스의 쿼리-키 쌍에 대해서만 높이/너비 회전을 적용하고, 텍스트 토큰, 이미지 블록, 비디오 세그먼트의 시간 좌표를 다르게 처리한다. RIG-RoPE는 학습된 매개변수를 추가하지 않으며, 상수 추가 메타데이터로 타일 주의 커널 내에서 구현할 수 있다.
RIG-RoPE는 각 토큰에 지속 시간 인식 좌표를 추가하여 서로 다른 정보 밀도를 가진 모달리티 간의 시간 처리를 개선한다.
원문 출처
arXiv cs.CL (계산언어학·NLP)