xHC: Expanded Hyper-Connections을 통한 잔여 스트림 확장
[Paper] xHC: Expanded Hyper-Connections - Scale Residual Streams Wider · Push Model Intelligence Further
Hyper-Connections (HC)은 Transformers의 잔여 스트림을 N개의 병렬 스트림으로 확장하여 모델의 폭과 깊이를 넘어서는 메모리 확장을 제공합니다. xHC(Expanded Hyper-Connections)는 N=4를 넘어서는 의미 있는 확장을 달성한 최초의 HC-family 방법으로, 18B MoE 모델에서 평균 4.0점의 하향 성능 향상을 보여주며, 훈련 FLOPs는 기존 방법에 비해 적은 비용으로 유지됩니다. xHC-Flash는 확장된 잔여 상태에서 메모리 트래픽을 줄여 효율성을 높입니다.
xHC는 18B MoE 모델에서 평균 4.0점의 성능 향상을 제공하며, 기존 방법보다 적은 훈련 비용으로 효과적인 대규모 잔여 스트림 확장을 가능하게 합니다.
원문 출처
r/LocalLLaMA