RoPE 기반 트랜스포머의 하이브리드 아키텍처 설계

Modern Transformers Are Implicit Hybrids: From Functional Differentiation to Principled Hybrid Architecture Design

하이브리드 아키텍처는 Full Attention(FA)과 Linear Attention(LA)을 결합하며, RoPE 기반 트랜스포머에서 학습된 헤드 수준의 기능 조직을 기반으로 한다. RoPE Frequency Importance Score(RFIS)와 RoPE Positional Dependence(RPD)라는 두 가지 개입 메트릭을 제안하고, Qwen3 시리즈 모델과 Llama3.1에서 이들을 검증하여 중저주파 대역에 의해 구분된 검색 및 위치 헤드의 완전한 분류 체계를 제시한다. Head-wise Hybrid Architecture(HwH)는 FA와 LA의 비율이 1:3 이하일 때 강력한 언어 모델링과 상식 추론을 유지하면서 검색을 개선하고 제로샷 긴 맥락 외삽을 강화한다.