Looped Diffusion Transformer: 반복 실행되는 변환 블록과 샘플링 시 변경 가능한 루프 깊이
Looped Diffusion Transformer: the same blocks run several times inside each denoising step, and loop depth can be changed at sampling time [R]
Looped Diffusion Transformer 논문(arXiv 2609.40305, 9월 30일 발표)에서는 텍스트-이미지 변환 모델 DiT의 크기를 키우는 대신, 각 디노이징 단계에서 동일한 변환 블록 그룹을 여러 번 실행하는 방식을 제안한다. 260M 루프 모델이 6.5배 큰 모델보다 여러 벤치마크에서 더 우수한 성능을 보이며, 4.9배 적은 추론 계산량을 요구한다고 보고했다. 루프 깊이는 샘플링 시 선택할 수 있으며, 깊이가 3 이상일 때 성능 차이가 적게 나타났다.
260M 루프 모델이 6.5배 큰 모델보다 우수한 성능을 보이며, 4.9배 적은 추론 계산량으로 효율성을 높인다.
원문 출처
r/MachineLearning