baseVultra, 게이트 행렬 대신 후보 생성 행렬에 순환 연산 용량을 집중한 소형 순환 셀 제안

baseVultra: Compact Nonlinear Recurrence with Reallocated Capacity

arXiv 논문 baseVultra는 LSTM·GRU의 게이트 변환에 쓰던 순환 연산 예산을 H x H 후보 생성 행렬 하나로 옮기고 게이트에는 O(H) 대각 상호작용을 쓰는 소형 순환 셀을 제안한다. TinyShakespeare 문자 단위 언어 모델링에서 1층 200K 설정 검증 손실 1.594로 파라미터를 맞춘 LSTM(1.604)과 GRU(1.616)보다 낮았다. 기사에 따르면 이 설계에서 밀집 순환 행렬-벡터 연산은 같은 은닉 크기 기준 GRU의 약 54% 수준이다. text8(약 45배 큰 벤치마크)에서는 baseVultra가 1.854 bpc로, 1.849 bpc인 GRU, 1.837 bpc인 LSTM과 경쟁적인 수준을 보였다. 형식 언어 탐지 실험에서는 은닉 상태 용량이 제한된 H=16 조건에서 Counter OOD2 정확도가 0.991로 GRU(0.761)와 LSTM(0.691)을 앞섰다. 다만 은닉 크기가 커지면 이 이점은 사라졌고, 논문은 후보 중심 용량 배분의 효과가 소형 설정에 집중되며 대규모에서는 전체 게이트 셀이 여전히 경쟁력을 유지한다고 정리했다.