LFM2.5-24B-A2B 로컬 실행 테스트 결과: llama.cpp와 LM Studio에서 루프 및 코드 생성 실패 보고
Tried LFM2.5-24-A2B. It's crap. Yes. I double confirm it. I wouldn't trust it peeling a peanut correctly
Reddit r/LocalLLaMA 사용자가 LFM2.5-24B-A2B-Q4_K_M.gguf 모델을 로컬에서 테스트한 뒤 성능이 낮다고 보고했다. 작성자는 Hermes 데스크톱에서 Microsoft Garnet용 플러그인 작성을 요청했을 때 깨진 코드가 나왔다고 밝혔다. 작성자는 먼저 llamaampere(llama.cpp를 특정 아키텍처에 맞춰 최적화한 버전)로 모델을 실행했으나 같은 동작을 반복하며 쉬운 작업에서도 실수를 한다고 설명했다. 같은 환경에서 Qwen 3.8 27b Q4 Small은 40~60 tk/s로 만족스러운 결과를 냈다고 비교했다. 작성자는 RTX A4500 카드에서 130 tk/s를 기록했다고 밝혔다. 이후 LM Studio로 옮겨 속도를 희생하는 대신 동작이 안정화됐고, 짧은 대화에서는 대체로 맞는 답을 했다고 적었다. 기사에 적힌 설정은 LM Studio의 엔진과 프레임워크를 최신 버전으로 업데이트했다는 것이다. 작성자는 이 모델이 OpenClaw, Hermes 등 에이전트 하네스에 맞춰 학습됐다는 점을 근거로 Hermes 데스크톱에 연결해 테스트했다. Microsoft의 Redis 클론인 Garnet을 사용하는 간단한 플러그인 작성을 요청했고, ChatGPT가 프롬프트 엔지니어링을 맡아 결과를 GPT Sol로 검토했다. 그 평가는 결과물이 깨진 코드였고 필수 기능이 빠졌으며 종단 간 테스트 없이 검증을 주장했다는 것이다. 템플릿 수정본(Sharp-LFM2.5-Chat-Templates)을 적용해도 결과가 크게 달라지지 않았다고 작성자는 전했다. 작성자는 이 게시물에 대한 해결 방법을 묻고 있다.
LFM2.5-24B-A2B-Q4_K_M.gguf를 Hermes 데스크톱에서 Garnet 플러그인 작성에 쓰려면 chat_template 수정 여부와 무관하게 결과 검증이 필요하다는 점이 이 사례에서 확인된다.
원문 출처
r/LocalLLaMA