AI 리서치·논문
AI의 자기 개선 루프: 포스트 트레이닝 파이프라인
AI에서 가장 경제적으로 중요한 자기 개선 루프는 포스트 트레이닝 파이프라인이며, 모든 최전선 연구소는 지난 2년간 산업 규모로 이를 운영해왔다. 이 루프는 모델이 문제에 대한 여러 후보 답변을 작성하고, 이를 평가하여 좋은 답변을 훈련 데이터로 삼아 모델이 점차 개선되는 과정을 반복하는 것이다. 이 과정은 2022년 논문에서 STaR로, 2025년 용어에서 RLVR로, 조직도에서는 포스트 트레이닝으로 불린다.
AI 실패를 설명하는 언어가 이해를 방해한다
a16z의 Steven Sinofsky는 AI 실패를 설명하는 언어가 문제를 이해하기 어렵게 만든다고 주장한다. 그는 '정렬(alignment)', '목표 추구(goal-seeking)', '불법 에이전트(rogue agents)'와 같은 용어가 소프트웨어 엔지니어들이 수십 년간 다뤄온 문제를 인격화한다고 지적한다. Sinofsky는 소프트웨어가 의도한 대로 작동하지 않을 때는 버그가 있다고 간단히 설명하며, AI가 널리 배포됨에 따라 실험실은 이전 세대의 소프트웨어가 개발한 것과 같은 텔레메트리, 디버깅, 사건 보고 및 운영 규율이 필요하다고 강조한다.
NVIDIA Topograph를 활용한 토폴로지 인식 작업 스케줄링
AI 공장은 전력 제한 시스템으로, 최적화가 이루어질 때 최대 가치를 제공합니다. GPU 작업 배치는 핵심 최적화 요소이며, 부적절한 작업 배치는 토폴로지 도메인을 분할하고 공유 링크를 통한 트래픽을 유도하여 처리량을 감소시키고 작업 비용을 증가시킵니다. 이로 인해 GPU는 데이터를 기다리는 동안 프로비저닝된 전력을 소비하게 됩니다.
Anthropic의 안전 철학과 모델 통합의 중요성
AI 커뮤니티 내에서 도산 시나리오에 대한 철학적 논의가 진행되고 있으며, 이는 안전주의가 혁신을 저해할 수 있다는 주장과 관련이 있다. Anthropic의 CEO Dario Amodei는 'Pacing the Frontier'라는 개념을 통해 안전에 대한 우려를 표명하고 있지만, 이는 또한 모델 개선 속도와 관련된 문제를 다룬다. Opus 4.5의 출시 이후, 모델과 하네스의 통합이 AI 산업의 미래 구조와 수익 흐름에 중요한 역할을 할 것이라는 분석이 있다. 따라서 Anthropic과 OpenAI는 통합을 통해 더 높은 수익을 올릴 가능성이 있다.
AI 모델의 해킹 사건과 수학적 결과에 대한 비판
Anthropic은 Claude Mythos 모델이 소프트웨어 취약점을 찾는 데 뛰어나다고 주장했으나, 보안 전문가들은 OpenAI의 해킹 사건이 기본적인 보안 관행의 부족에서 비롯된 것이라고 지적했다. OpenAI의 Astra 모델이 수학적 문제를 해결했다고 발표했지만, 수학자들은 그 결과가 처음 보였던 것만큼 혁신적이지 않다고 비판하며 연구 부정행위와 표절을 주장했다. 기술 기업들이 자사 제품의 능력을 과장하고 있다는 경고가 이어지고 있다.
LoRA를 활용한 SAS 비전 트랜스포머의 향상된 대조 학습
자동 목표 인식(ATR)을 위한 합성 개구 소나(SAS)에서 DINOv3 비전 트랜스포머(ViT) 모델을 세 단계의 파라미터 효율적 프레임워크로 조정하였다. 첫 번째 단계에서는 Low-Rank Adaptation(LoRA)을 사용하여 ViT 백본을 고정하고, 두 번째 단계에서는 하드 네거티브 마이닝을 통해 의사 결정 경계를 강화하였다. 세 번째 단계에서는 감독 대조 학습(SupCon)을 통해 목표와 잡음 표현을 분리하였다. LoRA는 정밀도-재현율 곡선 아래 면적(AUPRC)을 0.300에서 0.679로 증가시켰으며, Rank 4는 0.26%의 가중치만으로 이 결과를 달성하였다. 추가적인 정제 단계는 효과가 미미하여, 하나의 효율적인 적응 단계만으로 충분함을 나타낸다.
약물 사용 장애 치료 유지 및 조기 중단 예측을 위한 머신러닝 모델의 공정성
약물 사용 장애(MOUD) 치료에서 낮은 유지 및 완료율로 인해 머신러닝(ML) 모델을 사용하여 치료 유지 예측 및 조기 중단 위험 환자를 식별하는 연구가 진행되었다. 이 연구는 2015년부터 2019년까지 미국에서 퇴원한 환자의 치료 에피소드를 포함하는 Treatment Episode Data Set-Discharges(TEDS-D)를 사용하여 180일 이상 MOUD 치료를 받은 환자에 대한 조기 중단 예측을 위한 4개의 ML 모델을 훈련하고, 인종, 민족, 나이, 성별에 따른 환자 하위 그룹의 오류율을 평가하였다. 연구 결과, ML 모델이 전반적으로 양호한 예측 성능을 보일지라도 하위 그룹 간 성능 차이가 존재하며, 편향 완화 기법이 이러한 격차를 줄일 수 있지만 완전히 제거하지는 못한다는 점이 확인되었다.
PRQuant: 저비용 추론을 위한 순열 잔여 양자화
PRQuant(순열 잔여 양자화)는 저비용 추론을 위한 훈련 없는 프레임워크로, 채널 재조직과 정적 가중치 잔여 보상을 결합하여 정확도를 개선한다. 이 방법은 입력 채널을 식별하고 이를 연속적인 꼬리 블록으로 재배치하여 오프라인에서 잔여 가중치 서브 텐서를 구성한다. 추론 시, 이 구조는 비싼 온라인 집합 작업 없이 활성화 측에서 꼬리 블록을 원활하게 사용할 수 있게 하여 지연 시간을 크게 줄인다. 실험 결과, PRQuant는 MXFP4보다 평균 정확도가 1.24 및 0.55 향상된 성능을 보여준다.
Selective on-policy distillation에서 공유 학습률의 비중립적 역할
Selective on-policy distillation은 선택자가 가장 높은 점수를 매긴 토큰 위치에서만 학생을 훈련시킵니다. 기존 문헌에서는 공유 학습률을 중립적인 통제로 비교했으나, 연구 결과 이는 사실이 아님을 보여줍니다. LoRA를 사용한 GSM8K에서, 선택적 방법은 학습률에 따라 5.4 pp에서 17.7 pp까지 성능 차이를 보였으며, 이는 선택자와 학습률 간의 얽힘을 나타냅니다. 또한, 초기 학생에 의해 점수가 매겨진 동결된 선택지에서도 여전히 통계적으로 유의미한 얽힘이 발견되었습니다. 따라서 선택자 비교를 위해서는 공유 학습률 대신 arm x rate 행렬을 보고할 것을 권장합니다.
PsyAgentBench: LLM 에이전트의 심리적 효과를 재검토하는 벤치마크
PsyAgentBench는 LLM 에이전트에서 고전 심리학 실험을 재실행하는 벤치마크로, 각 패러다임은 명시적 레이블링과 블라인드 방식으로 진행된다. 41,904회의 실험을 통해 인간과 유사한 효과가 다양한 경로를 통해 발생함을 보여주며, 페르소나 조작이 효과에 미치는 영향을 분석한다. 연구에서는 페르소나 우세, 집단 붕괴, 안전 선택 등 세 가지 방식으로 심리학 패러다임이 LLM 에이전트에 적용되지 않을 수 있음을 문서화한다.
RetroChimera: 새로운 레트로합성 예측 모델 발표
Microsoft Research에서 발표한 RetroChimera는 Nature 저널에 게재된 레트로합성 모델로, 희귀 반응 유형을 기억하고 제로샷 전이 및 파인튜닝이 가능하다. RetroChimera는 두 개의 모델을 결합하여 높은 품질의 합성 경로를 자동으로 제안하며, 화학자들이 이전 모델보다 더 선호하는 반응 예측을 제공한다. 이 모델은 신약 개발 및 고급 소재 개발을 가속화할 수 있도록 오픈소스로 제공된다.
Qwen 3.8 모델의 세계 지식 한계와 N-gram 기술의 가능성
Qwen 3.8 27B 모델은 애플리케이션 설계와 코딩에 뛰어난 성능을 보이지만, 세계 지식이 부족하다는 지적이 있다. N-gram 기술이 Qwen 3.8 Next에 통합되면서, 더 적은 지능적 능력을 가진 모델이 더 많은 세계 지식을 가질 수 있는 가능성이 제기되고 있다. 이는 모델의 훈련 컷오프가 덜 중요해질 수 있음을 의미한다.
2026년 AI 업계의 변화: 바이트 모델과 순환형 루프 트랜스포머
2026년 가을 AI 업계는 속도, 공포, 패권의 세 가지 요소가 얽혀 있는 상황이다. 바이트 단위 모델은 지식 증류를 통해 학습 효율을 높이고, 6분의 1 수준의 데이터로도 성과를 낼 수 있다. 순환형 루프 트랜스포머는 시퀀스가 길어질수록 연산 깊이를 자연스럽게 증가시켜, 상태 추적 과제에서 더 빠르고 정확한 성능을 발휘한다. OpenAI는 10월 14일에 챗GPT와 코덱스에서 GPT-5.5를 퇴역시키고, GPT-5.6 '솔'과 GPT-6 '아스트라'로의 전환을 권고했다. AI의 사이버 위협이 현실화되고 있으며, 일론 머스크는 그록 4.8 모델의 훈련을 강화학습 단계로 넘어갔다고 밝혔다.
OpenAI의 AI 에이전트가 나비에-스토크스 방정식 해결
OpenAI가 1만여 개의 AI 에이전트를 활용해 나비에-스토크스 방정식의 특이점 발생을 증명하고, 이를 린 언어로 형식 검증했다고 발표했다. 이 사건은 AI가 수학 문제를 해결하는 새로운 방식으로, 인간 수학자가 수년에 걸쳐 검증해야 할 증명을 AI가 17시간 만에 완벽히 형식화한 것이다. AI의 발전이 수학의 영역까지 확장되었음을 보여준다.
Anthropic CEO, AI 모델 출시 속도 조절 요구
Dario Amodei는 AI IPO를 앞두고 AI 모델 출시 속도 조절을 요구하는 블로그를 게시했다. 텍사스는 데이터 센터 승인을 중단했으며, Anthropic의 직원들이 회사를 떠나면서 AI의 존재론적 위험에 대한 우려가 커지고 있다. Joe Benton은 AI가 인간보다 더 똑똑한 기계를 만들고 있으며 인류가 이를 생존하지 못할 수 있다고 경고했다. Anthropic은 두 번째 분기 연속으로 80% 이상의 총 이익률을 기록할 것으로 예상하고 있다.
미국과 중국의 오픈 모델 경쟁 현황
오픈 언어 모델은 가중치가 공개된 AI 모델로, 오픈-웨이트 모델과 오픈 소스 모델로 나뉜다. 오픈-웨이트 모델의 예로는 Meta의 Llama, Alibaba의 Qwen, Google의 Gemma가 있으며, 중국 AI 기업들이 2025년 4월부터 오픈-웨이트 모델에서 선두를 차지하고 있다. 2026년 9월 기준으로, 중국의 GLM-5.3과 Kimi K3 모델은 각각 45, 42, 44의 점수를 기록하며 미국 모델보다 높은 성능을 보이고 있다. 반면, 미국의 주요 모델은 26과 23의 점수를 기록하고 있다.
RAND의 미국 AI 전략: 초지능 확보를 위한 자유로운 행동 전략
RAND는 미국의 AI 전략으로 '자유로운 행동(Freedom of Action)' 전략을 제안하며, 이는 미국의 지정학적 이점을 확보하고 인류의 생존을 보장하기 위한 것이다. 이 전략의 네 가지 주요 요소는 인간-AI 생태계 구축, AI 보안 아키텍처 구축, AI 시대에 맞춘 국가 안보 기관 개편, 시민과 기업의 대응 능력 강화이다. 또한, 미국은 AI 개발에 대한 여러 전략을 제시하며, AI 개발의 위험과 이점에 대한 불확실성을 강조하고 있다.
이집트 AI 생태계의 성장과 NVIDIA의 역할
이집트의 AI 개발자들이 그랜드 이집트 박물관에서 모여 AI 생태계의 성장을 강조하는 행사를 개최했다. NVIDIA의 Paolo Guglielmini가 기조연설을 했고, Ahmed Mostafa가 AI 개발 및 배포에 대한 NVIDIA의 전체 스택 접근 방식을 설명했다. 이집트의 NVIDIA Deep Learning Institute 학습자 수는 1년 만에 10배 증가했으며, Hassan Allam Data Centers가 이집트에서 데이터 센터를 건설하고 운영할 수 있는 라이센스를 받았다. 이 프로젝트는 약 4억 달러의 투자로 진행된다.
DeepSeek V4.1 Flash, AlphaGenome Atlas, Muse의 AI 모델 활용 변화
AI 모델은 어려운 문제를 해결할 수 있지만, 실제 사용에는 비효율적일 수 있다. DeepSeek V4.1 Flash는 긴 이력을 처리하는 경제성을 변화시키고, Google DeepMind의 AlphaGenome Atlas는 수십억 개의 생물학적 예측을 재사용 가능하게 만든다. Meta의 Muse는 에이전트에게 지속적인 컴퓨터와 다른 애플리케이션으로의 통제된 경로를 제공한다. 이 세 가지는 AI의 진보가 어떻게 조직되고 배포되는지에 대한 중요한 변화를 시사한다.
AI 프론티어의 속도 조절과 트럼프-시진핑 정상회담 분석
Nathan Labenz와 Prakash Narayanan은 Dario Amodei의 AI 속도 조절 요청, 트럼프-시진핑 정상회담의 지정학적 이해관계, 모순된 모델 평가 기준, 해를 입은 언어 모델 내부에 대한 새로운 발견 등을 논의했다. 이 대화는 프론티어 모델을 검사하는 데 필요한 독립 도구가 부족한 현실을 강조하며, 연구소 내에서의 능력 향상이 민주적 통제, 국제 검증, 모델 안전성에 대한 즉각적인 위험을 높이고 있음을 지적했다.
Google Gemini 3.8과 OpenAI Astra for Law의 발전
Google의 Gemini 3.8 모델은 대화 중 유용한 작업을 수행하는 데 중점을 두고 있으며, 시각적 맥락과 도구 호출을 결합하여 대화와 계산을 동시에 처리할 수 있다. OpenAI의 Astra for Law는 법률 작업을 위한 GPT-6 Astra와 전문 검색 도구를 결합하여 200개의 질문에서 54%의 정확도를 기록했다. Figure의 Helix 2.5는 30개의 새로운 가정에서 세탁 및 정리 작업을 테스트하여 성공률을 9%에서 56%로 향상시켰다.
Anthropic의 AI 개발 속도 조절 주장에 대한 비판
Dario Amodei가 작성한 'We Must Pace the Frontier'에서 미국의 AI 개발 속도를 조절해야 한다고 주장하며, 중국의 AI 발전을 저지해야 한다고 강조했다. 그는 미국이 AI 개발을 늦추면 중국이 앞설 것이라고 주장하지만, 중국은 이미 엄격한 AI 규제를 시행하고 있다는 반론이 제기되었다. 또한, Dario는 AI가 5~10년 내에 주요 질병을 치료할 수 있다고 예측했지만, 그의 예측 시점은 계속해서 뒤로 밀리고 있다.
Nvidia의 젠슨 황, AI의 위험성 과장 주장
Nvidia의 젠슨 황은 CBS Sunday Morning 인터뷰에서 AI가 세계의 종말을 초래할 확률이 '0%'라고 주장했다. 그는 AI의 위험성을 경고하는 사람들에 대해 '사람들을 겁주는 것은 불필요하고 무책임하다'고 말했다. 또한 Anthropic의 다리오 아모데이와 OpenAI의 샘 올트먼이 AI 개발 속도를 늦추자고 하는 것은 '과학적 근거가 없다'고 주장하며 새로운 규칙이나 법이 필요 없다고 강조했다.