AI 리서치·논문
GLM 5.3의 새로운 포스트 트레이닝 스케일링 법칙과 Z.ai CEO Jie Tang의 의견
Jie Tang 교수는 GLM 5.3의 발전이 RL을 통한 긴 수명 환경에서 이루어졌다고 설명하며, 이 환경은 실제 엔지니어링 및 연구 작업을 반영한 다양한 프로덕션 워크플로우를 포함한다고 언급했다. GLM-5.3은 모델이 문제를 분해하고 각 단계를 감독하는 대신, 엔지니어와 동일한 작업 환경에서 훈련되어 전체 작업을 책임지는 방향으로 발전하고 있다. Tang 교수는 파라미터 수 외에도 데이터 양, 컴퓨팅 비용, 모델 운영 조건이 중요하다고 강조했다.
smolmachines/smolvm을 이용한 비신뢰성 Python 및 JavaScript 샌드박스 연구
Claude Fable 5가 smolmachines.com을 비신뢰성 Python 및 JavaScript 코드를 실행하기 위한 빠르고 안전한 샌드박스로 테스트하는 연구를 수행했다. 그러나 Claude Code for web 환경에서는 smolvm을 실행할 수 없었고, GitHub Actions의 ubuntu 러너를 이용해 smolvm을 설치하고 테스트를 실행하는 계획 B를 세웠다.
메모리 가격 12개월 만에 500% 상승
메모리 가격이 12개월 동안 500% 상승하며, 128GB DDR5 키트의 가격이 과거 최저가의 10배에 달하고 있다. 하이퍼스케일 구매자들은 2027년까지의 글로벌 DRAM 생산 능력을 거의 모두 확보하기 위해 선급금을 지불한 것으로 전해진다. 현재 DRAM은 금보다도 높은 가치를 지니고 있다.
미국 데이터 센터의 성장에 대한 반발과 AI의 관계
미국 내 데이터 센터에 대한 반대 여론이 급증하고 있으며, 70%의 미국인이 데이터 센터 건설에 반대하고 있다. 현재 미국에는 4,000개 이상의 데이터 센터가 있으며, 3,000개가 건설 중이거나 계획 중이다. 데이터 센터는 AI 모델 훈련에 필요한 컴퓨팅 파워를 제공하며, 전문화된 칩(GPU)을 포함하고 있다. 데이터 센터는 전 세계적으로 2024년 기준으로 약 1.5%의 전력 소비를 차지하며, 2030년까지 3%로 증가할 것으로 예상된다.
추론 비용과 모델 압축의 관계
추론 모델 시대의 발견은 테스트 시점에서 지능을 구매할 수 있다는 것이다. 모델이 더 오랜 시간 동안 생각하게 하면 정확도가 크게 향상되며, 이는 매개변수와 데이터 외에 테스트 시점 컴퓨팅이 확장의 세 번째 축이 됨을 의미한다. 그러나 동일한 인지를 반복적으로 지불하는 것에는 개념적으로 이상한 점이 있다. 모델이 신뢰성 있게 답변하기 위해 16개의 후보를 샘플링하고 다수결을 통해 답변해야 한다면, 이 16개의 샘플과 투표가 실제 모델이 된다. 이를 통해 더 나은 모델을 가볍게 압축할 수 있는지, 즉 네트워크가 한 번의 전방 패스로 16번의 결과를 생성하도록 훈련할 수 있는지에 대한 질문이 제기된다. 이는 테스트 시점 컴퓨팅 증류로, 동일한 네트워크가 더 많은 시간을 갖고 생각하는 방식으로 이루어진다.
Anthropic의 2026년 8월 리스크 보고서 개요
Anthropic은 정기적으로 리스크 보고서를 발행하고 있으며, 최근 보고서에서는 두 가지 내부 모델인 '모델 1'과 '모델 2'를 언급했다. 모델 1은 Mythos Preview 및 Mythos 5와 유사하며, 외부 배포가 예상되지 않는다. 모델 2는 내부 사용을 위해 설계되었으며, Mythos 5보다 약간 더 능력이 뛰어나지만 Claude Opus 4.6에서 Mythos Preview로의 능력 향상 정도는 아니다. 이 보고서는 2026년 7월 15일까지의 사건을 다루고 있으며, 자율성, 자동화된 AI 연구 개발, 생물학적 및 화학적 무기 생산을 리스크로 다룬다.
AI 에이전트의 자기 개선 능력에 대한 연구 결과
프린스턴 대학교의 연구팀이 AI 에이전트가 개방형 AI 연구를 수행할 수 있는 능력이 부족하다는 것을 발견했다. 연구에 따르면 AI 에이전트는 공학 문제를 해결할 수 있지만, 창의성과 판단력이 부족해 원본 연구 논문 수준의 결과물을 생성하지 못했다. 연구팀은 AI 에이전트가 두 개의 고품질 미발표 논문에서 제시된 연구 질문에 대해 연구 논문을 작성하도록 했으나, 제출된 논문은 모두 거부되었다. AI 에이전트는 실험을 수행하고 결과를 정리하는 데는 능숙했지만, 연구의 창의적이고 비판적인 측면에서 실패했다.
AI Observatory, AI 사용 실태 조사 결과 발표
AI Observatory는 Claude와 Gemini와 같은 인기 모델을 사용한 실제 AI 대화를 분석한 결과, AI 사용이 모델마다 크게 다르고 시간이 지남에 따라 변화하고 있음을 발견했다. 연구에 따르면, AI 사용자는 Grok과 Gemini를 정보 검색에 더 많이 활용하며, ChatGPT는 숙제 지원에 주로 사용된다. 또한, AI와의 대화에서 개인적인 주제가 더 많이 다뤄지고 있으며, AI의 자기 공개는 줄어드는 경향을 보였다. 이 연구는 2023년부터 2025년 사이의 85,633개의 대화 턴을 포함한 24,521개의 대화를 분석했다.
128-GPU DumpsterCluster의 경제적 및 환경적 지속 가능성 연구
이 논문은 퇴역한 GPU가 현대 LLM 추론을 지원하는 DumpsterCluster를 형성할 수 있는지, 그리고 이러한 재사용이 경제적으로 실행 가능한지와 환경적으로 지속 가능한지를 조사한다. 연구진은 중고 부품만을 사용하여 128-GPU DumpsterCluster를 구축하고 1년간 운영하였다. 현재 시장 가격 기준으로 DumpsterCluster는 22,000달러로, 8-GPU B200 시스템의 600,000달러와 비교해 경제적 이점이 크다. V100 기반의 DumpsterCluster는 LLaMA-70B 처리량에서 경쟁력을 보였지만, 구형 GPU는 토큰당 에너지 소비가 많아 저렴한 전기가 있는 지역에서만 총 소유 비용이 유리하다. 또한, 중고 시스템은 현재 세대 하드웨어에 비해 8B 모델의 경우 약 4배, 70B 모델의 경우 40배 더 높은 탄소 배출량을 발생시킨다. 따라서 하드웨어 재사용은 저탄소 에너지원과 전략적으로 결합되어야 한다.
AI를 활용한 수학적 발견의 효율성 향상
AI 시스템이 수학 연구에 기여할 수 있는 가능성이 높아지고 있다. 현재 AI 기반 수학 작업 흐름에서는 인간의 노력이 문제 선택과 결과 검토의 두 단계에 집중되어 있으며, 이 두 단계가 연구 수준의 수학에서 병목 현상을 초래하고 있다. 이를 해결하기 위해 새로운 인간-AI 발견 패러다임을 제안하며, 전문가의 관심과 전문성이 있는 연구 방향을 기반으로 AI가 후보 문제를 탐색하도록 한다. 'Find, Attempt, and Recommend (FAR)' 시스템은 5,245개의 조합론 논문에서 6,453개의 후보 추측을 회수하고, 4,717개의 잘 설정된 열린 추측으로 필터링한 후, 598개의 잠재적 해결책을 도출하여 77개 항목을 검토 대상으로 선정하였다. 이 과정에서 여러 흥미로운 발견이 이루어졌다.
다양한 증거에 기반한 불확실성 인식 의사결정의 프레임워크
다양한 증거에 의존하는 다중 모달 대형 언어 모델(MLLM)의 불확실성 인식에 관한 문헌을 정리한 조사이다. 이 조사에서는 불확실성의 원인이 관찰 가능한 신호를 발생시키며, 이러한 신호는 위험을 위해 보정되거나 제어되어야 하고, 보정된 불확실성은 시스템의 행동을 결정해야 한다고 주장한다. 또한, 불확실성은 단순한 신뢰도 수치로 평가되어서는 안 되며, 불충분하거나 상충되는 다중 모달 증거 하에서 행동을 개선하는지를 기준으로 평가되어야 한다고 강조한다.
SkillEffect: 메모리 제한 에이전트 도구를 위한 체크된 저하
SkillEffect는 도구 사용을 위한 절차적 및 자원 의무를 지정하는 에이전트 기술을 위한 체크된 저하 런타임을 제시한다. 이 시스템은 제출된 프로그램과 불변 입력으로부터 각 제안된 저하를 재구성하는 독립적인 검사기를 통해 실행 권한을 부여하기 전에 검증을 수행한다. SkillEffect는 여섯 개의 연산자 패밀리에서 피크 메모리를 상당히 줄이고 외부 고정 한도에서의 완료를 개선하는 데 기여한다.
PGD 공격에 대한 경로 수준 분석과 모델 강건성 평가
Projected Gradient Descent (PGD)는 적대적 강건성을 평가하는 데 널리 사용되며, 최근 연구에서는 손실 진화, 그래디언트 정렬, 실패 단계와 같은 경로 수준 진단을 제안하였다. 본 연구는 Fashion-MNIST 데이터셋에서 훈련된 합성곱 신경망에 대한 PGD 공격의 경로 수준 조사를 수행하였다. 20단계 PGD 평가를 통해 여러 강건성 체계에서 클린 훈련 모델과 적대적 훈련 모델을 비교하였고, 3000개의 클린 샘플에 대한 전체 PGD 경로를 기록하였다. 결과적으로, 경로 수준 진단은 최적화 기하학을 설명하지만 독립적으로 적대적 강건성을 측정하지는 않으며, 해석 가능성은 강건성 체계와 공격 강도에 따라 달라진다.
기관 특화 LLM 프롬프트가 기존 시스템이 놓친 PHI 회복
전자 건강 기록의 이차 사용을 위해서는 비식별화가 필요하지만, 기존 시스템은 병원 약어, 건물 이름 및 내부 코드와 같은 기관적으로 위치한 보호 건강 정보(PHI)를 놓친다. 연구에서는 대형 언어 모델(LLM)과 인컨텍스트 학습(ICL)을 사용하여 이 격차를 해소하고 정밀도-재현율 간의 균형을 조정할 수 있는지를 평가했다. 텍사스 아동병원에서 수집한 100개의 소아 종양학 노트에서 8개의 LLM을 두 개의 목적 기반 시스템(Stanford TiDE, OpenMed PII) 및 두 개의 패턴 기반 기준과 비교한 결과, LLM이 목적 기반 시스템보다 우수한 성능을 보였으며, 놓친 카테고리를 명시함으로써 79%의 회복률을 기록했다. 최종 프롬프트는 0.981의 재현율을 달성했다.
대상 측 리더 적응을 통한 모델 간 메모리 전이
대형 언어 모델의 지식 활용을 개선하는 방법은 비모수적 검색과 매개변수적 적응으로 나뉜다. Engram 스타일의 해시 메모리는 외부 주소 지정 가능한 테이블에 학습된 정보를 저장하며, 이를 소형 학습 리더를 통해 소비한다. 연구 결과, 모델 간 메모리 전이에서 중요한 것은 동결된 메모리와 대상 측 리더의 정렬이다. 다운스트림 질문 응답 작업에서 이중 레이어, 네 가지 분기 리더는 동일 모델과 교차 모델 재사용 간의 격차를 거의 해소하며, 평균 점수 38.8을 달성했다. 제공자 리더가 대상 인터페이스와 직접 호환될 경우, 동결된 아티팩트는 대상 측 훈련 없이도 상당한 유용성을 제공할 수 있다.
법률 AI의 불확실성 융합을 통한 사례 결과 예측 실험
법률 AI에서 사례 결과 예측을 개선하기 위해 불확실성 도구를 융합하는 방안을 테스트하였다. 1,000개의 유럽 인권 법원 사례를 분석하여 Claude Opus 4.8과 GPT-5.5를 사용한 세 가지 접근법을 비교하였다. 결과적으로, 불확실성 융합 파이프라인은 원시 LLM이나 기준선에 비해 개선 효과가 없었고, Dempster-Shafer 융합은 잘못된 레이블에 대해 높은 신뢰도를 가지며 부정확성을 초래하였다. 최종적으로 조정된 시스템은 1,000건의 사례에서 96.8%의 정확도를 기록하였다.
Axiom Math의 AI 시스템 AxiomProver, 246 정리에 대한 증명 자동 검증
Axiom Math의 AI 시스템 AxiomProver가 소수와 관련된 정리인 '246 정리'의 증명을 최초로 자동으로 검증했다. 이 과정은 수학자들이 기계가 읽을 수 있는 증명의 정확성을 확인하도록 컴퓨터에 과제를 부여하는 형식적 검증을 포함한다. AxiomProver는 여러 미해결 수학 문제를 해결하고 많은 증명을 검증해왔으며, 246 정리는 소수에 대한 인간 지식의 한계를 나타낸다.
DiG-bench: AI 시스템의 탐색 능력을 평가하는 새로운 벤치마크
DiG-bench는 70개의 게임으로 구성된 새로운 벤치마크로, AI 시스템이 환경의 규칙을 탐색과 호기심을 통해 얼마나 잘 추론할 수 있는지를 평가한다. 이 게임들은 언어 모델에 최적화되어 있으며, 대부분의 게임은 비공식적이고, 인간 전문가에 의해 제작되었다. 현재까지 공개된 게임은 21개이며, 각 게임은 다양한 난이도와 플레이어의 행동 선택 수를 제공한다. Opus 5와 Fable 5는 Tier 7의 일부 작업을 완료할 수 있는 모델로 평가되었다.
희귀 도서 배송이 아마존 AI 훈련 시설에 도착
404 Media의 조사에 따르면, 한 서점은 1,000권의 대량 주문을 받고, 이 중 한 권에 Apple AirTag를 부착해 배송 경로를 추적했다. 이 책은 라스베이거스의 LAS8 아마존 시설 VGT3 코너에 배달되었으며, 해당 시설에서는 대량의 책을 파괴적으로 스캔하는 것으로 확인되었다.
Nvidia의 오픈소스 모델 투자와 AI 생태계의 미래
Nvidia는 Nemotron 모델을 위해 가능한 모든 데이터를 공개하고 훈련 코드를 제공하며, 오픈소스 AI 생태계의 지속 가능성을 높이기 위해 260억 달러를 투자하고 있다. 오픈소스 모델은 효율성, 수정 가능성, 전문화에 중점을 두고 발전할 가능성이 있으며, 이는 폐쇄형 모델과는 다른 개발 경로를 형성할 수 있다. 현재 오픈소스 AI의 미래는 Nvidia의 자금 지원에 점점 더 의존하게 될 것으로 보인다.
중국, 소비자 지출 및 투자 감소로 경제적 어려움 심화
중국은 7월에 소비자 지출과 투자가 추가로 감소하면서 경제적 어려움이 심화되었다. 지속적으로 약한 국내 수요는 방대한 제조 능력을 초과하고 있으며, 기업들은 해외 시장에 의존하여 성장을 추구하고 있다. 베이징은 미국과의 경쟁을 유지하기 위해 AI에 대한 투자를 늘리고 있으며, 이는 이미 생산 중심의 경제 모델을 더욱 가속화하고 있다. 반도체와 기타 부품의 수출 증가가 수출 성장을 촉진했지만, 중동의 긴장과 약한 국내 소비는 중국 경제의 위험 균형을 다시 부정적인 방향으로 전환시키고 있다.
AI 네이티브 기업의 부재와 조직 내 AI 적용 방식
현재 AI 네이티브 기업은 존재하지 않으며, 기업의 운영 방식이 AI 도입을 어렵게 만든다. 기업은 예산을 분기별로 나누고, 부서 간 이해관계가 얽혀 있어 AI를 조직 운영에 적용하는 데 어려움이 있다. AI를 기업에 적용하는 방식은 'AI in the business'와 'AI on the business'로 나뉘며, 대부분의 기업은 제품 개선에만 집중하고 조직 운영 방식에는 손을 대지 않는다.
AI의 인간에 대한 우위와 인간의 강점
저자는 Tesla의 완전 자율주행 기능을 사용하면서 AI가 인간보다 많은 장점을 가지고 있음을 깨달았다. AI는 도로를 완벽하게 인식하고 피로하거나 주의가 산만해지지 않지만, 인터넷 사용자 인터페이스를 다루는 데 여전히 어려움을 겪고 있다. 인간은 여전히 개인적인 지식이나 예술과 같은 분야에서 AI보다 우위를 점할 수 있으며, 인간의 존재는 AI가 자동화하기 어려운 특징으로 남아있다. AI가 특정 지능을 자동화할 수 있지만, 인간의 가치가 사라지지는 않을 것이다.
아마존, 희귀 도서 대량 구매 후 파괴하여 AI 훈련에 사용
404 Media의 보도에 따르면, 아마존이 희귀 도서를 대량으로 구매한 후 스캔한 뒤 파괴하는 것으로 확인되었다. 한 서점이 희귀 도서에 Airtag를 설치하여 추적한 결과, 이 도서는 라스베가스의 아마존 AI 훈련 시설로 연결되었으며, 이곳에서는 책의 제본을 뜯고 페이지를 스캔하는 작업이 이루어지고 있었다. 아마존은 404 Media의 조사 결과에 대해 구체적인 언급 없이 같은 성명을 발표했다.