언어 모델이 화학 작용기를 말하기 전에 내부 표현에 구조화해 둔다는 연구

Functional-Group Knowledge Is Structured in Language Models Before It Is Spoken

화학·재료 분야 에이전트의 추론 핵심으로 쓰이는 언어 모델은 출력만으로는 아는 것을 판단하기 어렵다. 이 연구는 92개 분자와 20개 작용기를 다룬 프롬프트에서 다섯 개 오픈소스 모델의 내부 표현을 분석했다. 화학 학습 없이도 모델은 작용기를 화학 계열별로 묶고 화학적 차이를 일관된 방향으로 인코딩했다. 기사에 따르면 이 구조는 중간 계층에서 갑자기 나타나며, 표현이 프롬프트의 단어 표현 대신 작용기를 추적하는 방향으로 옮겨 간다. 기본 모델은 프롬프트의 58.5%에서만 올바른 작용기를 명명해 다섯 모델 중 가장 낮았지만, 작용기 계열은 인코딩하고 있었다. 그 오류도 대부분 잘못된 답이 아니라 답을 하지 못한 실패였다. 화학 파인튜닝은 이 구조를 재편해 프롬프트 표현보다 작용기가 표현을 지배하게 만든다고 기사는 밝힌다. 기사는 출력만으로 화학 언어 모델을 평가하면 모델이 담고 있는 화학 정보를 과소평가할 수 있다고 결론짓는다. 표현 분석으로 지식의 부재와 표현의 실패를 구분할 수 있으며, 이는 화학 에이전트용 모델을 고르거나 적응시킬 때 중요하다고 제시한다.