CLIC: 대형 언어 모델의 코딩 행동 비교를 위한 시각 분석 접근법

Token Signatures of Code: Comparing Coding Behaviors Across Large Language Models

대형 언어 모델(LLMs)의 코딩 작업에 대한 평가는 주로 성능 지표에 집중되어 왔으나, LLM 간의 코딩 행동 차이에 대한 연구는 부족하다. 이를 해결하기 위해 CLIC(Code Learning for Identification and Comparison)라는 시각 분석 접근법을 제안한다. CLIC는 각 코드 샘플을 토큰 빈도의 특성 벡터로 표현하고, 해석 가능한 결정 트리를 훈련시켜 두 LLM의 코드 세트를 구분한다. 새로운 지표인 강건성(robustness)과 집중도(concentration)를 정의하여 LLM 간의 차이를 측정한다. 10개의 LLM을 22개의 Kaggle ML 작업에서 비교한 사례 연구를 통해 LLM 선택 및 프롬프트 엔지니어링에 대한 실행 가능한 통찰을 제공한다.