fast16 악성코드와 Muon 옵티마이저의 문제점
Import AI 457: AI stuxnet; cursed Muon optimizer; and positive alignment
fast16.sys는 고정밀 계산 소프트웨어를 표적으로 삼아 메모리 내 코드를 패치하여 결과를 조작하는 20년 된 컴퓨터 바이러스이다. 이 바이러스는 LS-DYNA 970, PKPM, MOHID과 같은 고정밀 엔지니어링 도구와 관련이 있으며, 물리적 계산에 체계적인 오류를 도입하여 과학 연구를 저해할 수 있다. 한편, Muon 옵티마이저는 훈련 중 일부 뉴런이 영구적으로 손상되는 버그를 가지고 있으며, 이에 대한 대안으로 Aurora라는 새로운 옵티마이저가 개발되었다. Aurora는 1.1B 파라미터 트랜스포머를 훈련시켜 Muon보다 더 낮은 손실을 기록하였다.
fast16과 Muon의 문제는 AI 모델 훈련 및 고정밀 계산 소프트웨어의 신뢰성에 중대한 영향을 미칠 수 있다.
원문 출처
Import AI (Jack Clark)