FusionEval, 다중 전문가 모델 병합 기법을 평가하는 벤치마크 공개

FusionEval: Benchmarking Model Fusion for Large Language Models

FusionEval은 여러 전문가 모델을 하나의 대형 언어 모델로 통합하는 모델 퓨전 기법을 평가하기 위한 벤치마크다. Qwen3와 Llama 기반으로 수학, 코드, 과학, 지시 따르기, 도구 사용 분야의 도메인 전문가를 독립적으로 학습해 통제된 전문가 풀을 구성했다. 평가 스위트는 여덟 개의 공개 벤치마크에서 능력 보존 정도와 계산 비용을 측정하며, 정규화된 평균 및 최저 성능, 실행 시간, 최대 GPU 메모리 사용량을 보고한다. 실험 결과 추가 학습이 없는 방식은 두 모델 규모 모두에서 추론 성능은 유지하지만 도구 사용 능력을 크게 떨어뜨렸다. 반면 MOPD는 도구 사용 능력을 보존하고 보다 균형 잡힌 능력 분포를 보였으나, 추가 데이터 준비와 추론, 학습이 필요했다. 연구진은 추론, 지시 따르기, 도구 사용을 함께 유지하면서 계산 비용을 낮추는 것이 여전히 과제라고 밝혔다. 코드는 GitHub 저장소에서 공개돼 있다.