InceptionV1 모델의 1x1 컨볼루션 뉴런 분석

Mechanistic interpretability: a first paper on disentangling a convolutional neuron [R]

저자는 mechanistic interpretability 분야에서 작업을 시작하였으며, InceptionV1 모델의 1x1 컨볼루션 뉴런을 분석하였다. 이 연구에서는 뉴런이 '보는' 것, 즉 수용 필드와 뉴런의 가중치의 하다마르 곱을 클러스터링하여 뉴런이 감지하는 모든 패턴을 도출하였다. 이 과정에서 자동차, 고양이, 개와 같은 명확한 단일 의미 클러스터와 함께 글자, 인간 얼굴 등 저활성화 클러스터도 발견하였다. 또한, 저활성화 클러스터의 종속 뉴런들이 같은 개념에 반응하며, 긍정적 및 부정적 가중치가 균등하게 분포되어 패턴을 잡아내는 증거를 발견하였다.