Heretic 2.0 공개: 플러그인 기반 모델 수정 도구와 Arbitrary-Rank Ablation(ARA) 도입
Heretic 2.0 released: Model modification for everyone
언어 모델의 검열(거부 응답)을 제거하는 도구 Heretic이 2.0으로 출시되었다. 이번 버전은 검열 제거 외에도 슬롭 억제, 아첨(sycophancy) 감소, 감정 정렬 변경 등을 다루는 범용 모델 수정 도구로 확장되었다. Heretic 2.0에서 기존 방향성 제거(directional abliteration)는 Arbitrary-Rank Ablation(ARA)으로 대체되었고, ARA가 기본값이 되었으며 기존 abliteration은 옵션으로 남았다. ARA는 고정 랭크 부분공간으로 제한하지 않고, 유해 프롬프트의 표현을 무해 프롬프트와 유사하게 만들면서 무해 프롬프트의 표현 변화는 최소화하는 목적 함수를 L-BFGS 옵티마이저로 행렬마다 적용하는 방식이다. 도구는 플러그인 구조로 재구성되었다. 스코어러 플러그인은 최적화 목표를 정의하고, 모디파이어 플러그인은 실제 조정 방법을 구현하며, 단순한 Python 파일로 로드할 수 있다. 또한 비대화형 실행이 가능해져 종단간 테스트가 도입되었고, hyper-connections 구조의 모델 지원과 thinking 모델 지원이 개선되었다. 기본 실행은 heretic Qwen/Qwen3.5-4B처럼 모델 이름만 지정하면 된다. Heretic 측은 GitHub 스타 37k, Hugging Face 모델 8,500여 개, 총 다운로드 8,800만 회를 기록했다고 밝혔다. Heretic 2.0은 Heretic 1.x 설정과 하위 호환되지 않으며, 기존 설정을 옮기려면 마이그레이션 가이드를 따라야 한다. 기사는 ARA의 자세한 설명을 추후 글로 게시할 예정이라고 밝혔다.
스코어러 플러그인으로 여러 점수를 동시에 최적화할 수 있고 heretic 명령 한 줄로 모델을 수정할 수 있어, 로컬 모델을 다루는 개발자가 플러그인 작성만으로 모델 동작을 목적별로 조정하는 데 바로 활용할 수 있다.
원문 출처
r/LocalLLaMA