abliterated 모델 대신 LoRA를 llama.cpp 런타임에 적용해 거부 응답을 줄이는 방법
Why download abliterated Flash Next models when LoRA exists?
Reddit 사용자 returnity가 huihui v2 abliterated Flash Next 모델의 거부(refusal) 방향 투영을 담은 LoRA를 공개했다. 이 LoRA를 llama.cpp 실행 시 --lora 옵션으로 붙이면 수백 GB짜리 abliterated 모델을 따로 내려받지 않고도 같은 동작을 낼 수 있다고 설명했다. 글쓴이는 huihui v2 모델의 가중치를 Unsloth Q5_K_XL 기반 가중치와 비교해 모든 레이어에서 rank-1 거부 방향과 편집 강도를 추출해 F32 GGUF LoRA로 만들었다. 이 LoRA를 Unsloth Q5_K_XL 가중치에 적용했을 때 Wikitext KLD는 0.040, 같은 최상위 토큰 비율은 93.7%였고, perplexity는 원본과 통계적으로 동일했다고 밝혔다. Jailbreak Bench(유해 프롬프트 100개, thinking 활성화) 기준 거부 응답은 93/100에서 3/100으로 줄었다. 요청 단위로 LoRA를 켜고 끌 수 있도록 --lora-init-without-apply 옵션과 요청 본문의 lora 필드를 사용하는 방법도 예시로 제시했다. 글쓴이는 이 기법이 llama.cpp 외에 Strata의 --experimental-speed-projection, ds4/dwarfstar에서도 control vector로 비슷하게 동작한다고 언급했다. 다만 거부 응답이 한 번 나온 뒤 LoRA를 켜고 턴을 다시 보내면 전체 재prefill 비용이 든다는 점을 함께 적었다.
Q5_K_XL 기반 Flash Next 가중치에 F32 LoRA를 --lora 플래그로 붙이면 모델 파일을 중복 저장하지 않고 거부 동작만 런타임에 바꿀 수 있다.
원문 출처
r/LocalLLaMA