Goodfire의 Silico: 월 $1,000의 ML 연구 플랫폼 소개

Thinking in Silico: Goodfire CTO Dan Balsam on Concept Manifolds & a $1000/Month ML Research Agent

Goodfire의 공동 창립자이자 CTO인 Dan Balsam은 interpretability 연구의 현황과 Goodfire가 자체 개발한 월 $1,000의 연구 플랫폼 Silico를 소개했다. 그는 Predictive Data Debugging을 논의하며, fine-tuning과 RL이 사전 훈련에서 이미 잠재된 행동을 증폭할 수 있다는 점과 interpretability가 원치 않는 업데이트를 유발하는 데이터와 특성을 식별할 수 있음을 강조했다. 또한, 개념 다양체에 대해 논의하며 모델이 개념을 단순한 one-hot 특성이 아닌 의미 있는 하위 공간의 희소 혼합으로 저장한다는 주장을 했다.