ComfyUI에서 SDXL LoRA 3개(캐릭터1+스타일2) 합치면 얼굴이 컷마다 흔들립니다
캐릭터 LoRA 1개 + 스타일 LoRA 2개를 동시에 로드해서 일러스트 시리즈를 뽑는 중인데, LoRA 3개를 같이 걸면 캐릭터 얼굴이 프레임마다 미묘하게 달라집니다.
시도한 것:
- 캐릭터 LoRA strength 0.8, 스타일 LoRA 각 0.6
- 같은 seed 고정, 프롬프트 동일
- 그래도 눈매·턱선이 컷마다 흔들림
LoRA 여러 개 체이닝할 때 가중치를 어떻게 잡아야 캐릭터 정체성이 유지되나요? 아니면 애초에 접근이 틀린 건가요?
답변 2개
- 채택된 답변에디터 검증
LoRA 동시에 많이 걸수록 가중치가 서로 간섭해서 캐릭터 LoRA가 학습한 얼굴 특징이 희석됩니다. 스타일 LoRA들이 base 모델의 같은 레이어를 밀어버리거든요. 합산 강도가 대략 2.0 넘어가기 시작하면 거의 항상 정체성 무너지는 게 제 경험이에요(님 케이스 0.8+0.6+0.6=2.0이라 딱 경계선).
몇 개 만져볼 것:
- 캐릭터 LoRA를 0.9~1.0으로 올리고 스타일은 0.3~0.5로 확 낮추세요. 스타일 둘 다 0.6은 너무 셉니다.
- 스타일 LoRA 2개 동시는 거의 항상 충돌합니다. 하나로 줄이거나, 둘 중 하나를 ControlNet/IPAdapter로 빼는 게 안정적이에요.
- seed 고정은 이 문제 앞에선 거의 무의미합니다. seed는 초기 노이즈만 잡지 얼굴 정체성을 보장하는 게 아니라서, 프롬프트·seed 똑같아도 LoRA 간섭이 매번 다르게 들어가면 얼굴 흔들려요.
근데 솔직히 시리즈 일관성이 목적이면 LoRA 쌓는 방향 자체가 좀 손해예요. **IPAdapter FaceID(또는 InstantID)**를 캐릭터 LoRA랑 같이 쓰는 걸 추천합니다. 레퍼런스 얼굴 한 장을 임베딩으로 직접 주입하니까 컷마다 흔들리는 게 확 줄어요. 저는 캐릭터 LoRA 0.7 + InstantID 조합으로 갈아탄 뒤로 눈매 흔들리던 게 거의 잡혔습니다.
위 답에 더해서, ComfyUI면 LoRA를 block 단위로 가중치 다르게 주는 노드(LoRA Block Weight 계열) 한번 써보세요. 스타일 LoRA를 OUT 블록(디테일/텍스처) 쪽에만 먹이고 IN/MID 블록(구조·얼굴 구도)은 캐릭터 LoRA한테 양보하면 충돌이 꽤 빠집니다.
다만 이거 블록별로 숫자 맞추는 노가다가 좀 있어서... 시리즈 안정적으로 뽑는 게 목적이면 그냥 InstantID 가는 게 투자 대비 효율 좋습니다. block weight는 한 캐릭터 오래 우려먹을 때나 들이는 품인 듯.