LLM 내부를 관찰하고 두 양자화 모델의 토큰별 분기 지점을 비교하는 오픈소스 도구 inside-llm
I have created a tool to observe what happens inside an LLM. Also allows for the comparison of two quantizations of the same model to see at what point they diverge, token by token
llama.cpp를 직접 링크해 GGUF 모델 한두 개를 브라우저에서 토큰 단위로 관찰하는 오픈소스 도구 inside-llm이 공개됐다. 같은 모델의 두 양자화 버전이 어느 토큰에서 갈라지는지 확인할 수 있어, 양자화 차이를 눈으로 비교하려는 개발자에게 쓸모가 있다. 도구는 텍스트 스트림에서 A와 B가 다르게 고르는 위치를 자홍색 표시로 보여주고, 각 위치의 후보 분포, 엔트로피, 유효 선택지 수, Jensen-Shannon 발산과 양방향 KL 발산을 계산한다. 샘플러 체인(페널티, top-k, top-p, min-p, temperature, GBNF 문법)을 단계별로 추적해 각 단계 뒤에 남는 후보 수를 시각화하며, 후보를 클릭하면 그 지점에서 생성을 이어가는 분기 트리를 만들 수 있다. 또한 --lens 옵션으로 각 레이어가 예측하는 결과를 2D 지도와 3D 릴리프로 볼 수 있다. 구현은 C++17 단일 프로세스이며, 프런트엔드는 Svelte 5와 Canvas 2D이고 3D 릴리프에만 three.js를 지연 로드한다. 세션은 압축 기록으로 저장해 엔진이나 모델, GPU 없이 정적 페이지에서 재생할 수 있다. 배포 패키지는 Linux(glibc 2.35 이상)와 Windows용이며 CUDA 또는 Vulkan을 지원하고, MIT 라이선스로 공개되었다. 기사가 밝힌 제약은 다음과 같다. A와 B는 토크나이저를 공유해야 하며(같은 모델의 두 양자화, 베이스와 파인튜닝 등), 두 모델이 VRAM에 동시에 올라가야 한다. GPU는 한 번에 하나만 쓰고, 내장 GPU는 사용하지 않으며, 전용 GPU가 없으면 느린 CPU로 대체된다. 분할된(multi-part) GGUF와 임베딩 모델은 지원하지 않고 텍스트 모델만 다룬다. 글쓴이는 imatrix와 비imatrix, 베이스와 abliterated 또는 파인튜닝, Unsloth UD와 표준 양자화 등의 비교 조합에 대한 피드백을 요청했다.
Qwen3.5-0.8B_Q4_K_M과 Qwen3.5-0.8B_Q8_0처럼 토크나이저가 같은 두 양자화를 한 화면에서 토큰별로 비교할 수 있어, 양자화 선택이 출력에 미치는 영향을 직접 검증하는 데 쓸 수 있다.
원문 출처
r/LocalLLaMA