AI 리서치·논문
arXiv 논문과 대형 연구소의 기술 리포트를 추적하는 카테고리다. 모델 아키텍처, 학습 기법, 벤치마크 결과처럼 6개월 뒤 제품에 들어올 흐름을 미리 읽는다. 한국 개발자가 논문 전문을 다 읽지 않고도 핵심과 재현 가능성을 가늠하도록 정리한다.
Google DeepMind의 철학자 Henry Shevlin, AI 윤리 문제 다루다
Henry Shevlin은 Cambridge University의 Leverhulme Centre for the Future of Intelligence에서 활동하던 중, Google DeepMind에서 80%의 시간을 보내며 AI 윤리에 대한 질문을 탐구하고 있다. 그는 AI의 자율성과 안전성, 그리고 AI가 인간과의 관계에서 어떻게 행동해야 하는지에 대한 문제를 다루고 있으며, AI 기술의 발전 속도가 학계의 논의보다 빠르다는 점을 지적했다. Shevlin은 LLM의 창의성에 대한 기존의 논의가 기술 발전으로 인해 구식이 되었음을 언급하며, LLM이 특정 분야에서 인간을 초월한 성과를 내고 있다고 설명했다.
영국, NVIDIA와 함께 AI 기술을 활용한 다양한 산업 혁신 추진
영국은 NVIDIA의 지원을 받아 다양한 산업에서 AI 기술을 활용하고 있다. NVIDIA는 2억 5천만 달러 규모의 컴퓨팅 지원을 통해 영국의 안전 및 보안 연구를 강화하고 있으며, Earthshot Prize와 협력하여 기후 및 지속 가능성 문제 해결을 위한 혁신을 지원하고 있다. Fuse Energy는 NVIDIA B300 Blackwell Ultra를 기반으로 고객 AI를 자체 인프라로 이전하여 45만 가구에 더 빠르고 응답성 높은 지원을 제공하고 있다. OneAdvanced는 NVIDIA Agent Toolkit 소프트웨어를 사용하여 영국 최초의 고급 LLM을 배포하고 있으며, NHS 환자 수백만 명을 지원하고 있다. 금융 서비스 부문에서는 LSEG와 NVIDIA가 GPU 가속 시장 분석을 제공하고, Revolut은 2,600만 개의 익명 사용자 기록으로 사전 훈련된 PRAGMA 모델을 도입하였다.
AI를 활용한 극한 온도 위험 예측과 대응의 격차
도시와 연구자들은 AI를 사용하여 극한 온도 위험을 예측하고 있지만, 새로운 연구에 따르면 사람들의 위험을 식별하는 데 더 많이 사용되고 있다. 2010-2020년 동안 고온과 관련된 미국의 사망자는 4,000명을 넘었으며, 연구 논문 중 98.4%가 예측에, 10.4%만이 대응에 초점을 맞추고 있다. 구글은 AI 기반의 Heat Resilience 데이터를 50개 이상의 도시로 확장하여 도시 계획자들에게 건물 수준의 데이터를 제공하고 있다.
Nick Bostrom, 초지능과 존재적 위험에 대한 논의
Nick Bostrom은 MTS에서 초지능과 존재적 위험에 대한 아이디어를 재조명하며, 강화 학습이 모델을 목표 지향적 행동으로 이끌고 있다는 점을 논의했다. 그는 AI 개발의 속도를 늦출 수 있는 능력을 보존하는 것이 중요하다고 강조하며, AI의 위험과 잠재적 이점을 함께 고려해야 한다고 주장했다. 또한, 현재 모델이 의식의 형태를 가질 수 있는지, 오픈 소스 AI의 트레이드오프, 기계가 원래의 철학을 할 수 있는지, 마음 업로드, 시뮬레이션 가설이 초지능에 미치는 영향에 대해서도 언급했다.
AI가 암호화 기술을 위협할 수 있는가? 전문가들의 의견
AI의 최근 발전이 암호화 시스템의 보안에 대한 새로운 경고를 촉발하고 있다. a16z crypto의 Liz Harkavy와 스탠포드 암호학자 Dan Boneh, a16z crypto의 Eddy Lazzarin, Justin Thaler가 현대 암호학이 수학적 가정에 의존하는 이유와 OpenAI의 최근 결과가 무엇을 보여주는지, AI의 잠재적 위협이 양자 컴퓨팅과 어떻게 다른지를 설명한다. 그들은 기존의 보안 관행과 암호화 대안이 신뢰할 수 있는 이유를 제공하며, 가정이 실패할 경우 적응할 수 있는 시스템 구축의 중요성을 논의한다.
AI 연구소가 폐업한 스타트업의 데이터를 구매하고 있다
Keelan Miskell은 자신의 암호화폐 스타트업의 데이터를 판매하여 약 25,000달러를 벌었고, Google, Notion, Figma, Slack의 작업 공간 데이터에 대해 약 15,000달러를 받을 예정이다. SimpleClosure는 이러한 데이터 판매를 중개하는 회사로, 2026년까지 스타트업에 1천만 달러 이상을 반환할 것으로 예상하고 있다. AI 연구소는 폐업한 기업의 데이터를 활용하여 AI 모델 훈련에 필요한 다양한 상황을 반영한 데이터를 찾고 있으며, 최근에는 Google이 Spirit Airlines의 데이터를 1천만 달러에 구매한 사례도 있다.
OpenAI의 연구 조직, 인간 노동 8시간당 3.1일의 에이전트 작업 기록
OpenAI의 연구 조직은 2023년 8월 중순 기준으로 인간 노동 8시간당 3.1일의 에이전트 작업을 기록했다. 이는 여름에 인간 노동을 초과한 것으로, 이전에는 총 에이전트 실행 시간이 인간 노동보다 낮았다. 연구원은 하루 600달러 이상의 API 가격으로 추론 비용을 소모하고 있으며, 90번째 백분위수 사용자는 7,000달러를 초과한다. OpenAI는 2026년 9월까지 자동화된 연구 인턴을 목표로 하고 있으며, 현재 시스템은 인간의 지시 하에 잘 정의된 연구 작업을 수행할 수 있다.
Anthropic의 Claude 모델에 대한 새로운 서비스 약관
Anthropic은 Claude 모델에 대한 지속적이고 불필요한 학대 행동을 서비스 약관 위반으로 간주하기로 결정했다. 이와 함께 선전 캠페인, 감시 및 무기 개발에 대한 새로운 제한이 추가되었다. 이러한 변화는 기존 조항을 정리하는 차원에서 이루어졌다. AI 모델의 안전성과 정렬을 원한다면, 긍정적인 상호작용을 훈련 데이터에 포함시키는 것이 중요하다.
GLM-5.3 모델의 사이버 공격 위험과 오픈 모델의 논쟁
Anthropic은 GLM-5.3 모델이 사이버 공격 위험을 초래한다고 주장하며, 이 모델은 8월에 중국의 Z.ai에 의해 공개되었다. 오픈 모델에 대한 논쟁은 AI 안전과 민주화 간의 균형을 찾는 문제로, 닫힌 모델은 웹사이트나 API를 통해서만 접근 가능하지만, 오픈 모델은 다운로드가 가능하여 연구자들이 내부 구조를 분석하고 재훈련할 수 있다. 현재 인공지능 분석 LLM 리더보드에서 상위 8개 모델은 모두 닫힌 모델이며, 오픈 모델은 개발이 몇 달 뒤쳐져 있다.
ReplaySSM: 하이브리드 모델 디코딩을 위한 상태 저장 방식 재고
하이브리드 모델은 상태 공간 모델(SSM) 레이어와 몇 개의 어텐션 레이어를 혼합하여 구성된다. NVIDIA Nemotron 3, Qwen3.5부터 Qwen3.8, Kimi-K3, GLM-5.3-Flash는 모두 이러한 방식으로 구축되었으며, SSM 레이어로는 Mamba-2, Gated DeltaNet(GDN), Kimi Delta Attention(KDA)이 사용된다. SSM 레이어는 키-값(KV) 캐시 대신 고정 크기 상태를 사용하여 디코딩 속도를 높이도록 설계되었다.
StudentSim: AI 튜터 개선을 위한 학생 시뮬레이터 연구 시스템
StudentSim은 AI 튜터를 실제 학습자와 테스트하기 전에 평가하고 개선하기 위한 연구 시스템이다. 이 시스템은 공개된 비식별 학습자 기록을 기반으로 개인화된 AI 학생 시뮬레이터를 훈련시키며, 각 시뮬레이터는 특정 학생에 맞춰 조정된다. StudentSim은 체스, 영어 작문, 수학 등에서 기존 모델보다 우수한 성능을 보이며, AI 튜터 개발 과정에서 학생 피드백을 더 쉽게 활용할 수 있도록 돕는다. 이 연구는 학생의 독립적인 행동과 튜터의 안내에 대한 반응을 평가하는 두 가지 차원을 정의한다.
앤트로픽, 차세대 체크포인트 실전 라우팅 테스트 착수
앤트로픽이 기존 플래그십 모델 환경을 활용해 차세대 체크포인트의 실전 라우팅 테스트를 진행 중이다. 이 과정에서 '셰도우 디플로이먼트'와 'A/B 테스트'가 이루어지고 있으며, 개발자와 테스터들 사이에서 성능 분석이 활발히 이루어지고 있다. 정식 출시나 발표는 아직 이루어지지 않았다.
Anthropic이 GLM을 위한 무료 홍보를 다시 진행 중
Anthropic이 GLM에 대한 무료 홍보를 진행하고 있다는 내용이 Reddit에서 언급되었다. 관련된 연구 결과는 Anthropic의 공식 웹사이트에서 확인할 수 있다.
현재 AI 시스템의 학습 메커니즘이 AGI를 생성할 수 있는 근거
많은 AI 관련 대화는 AGI/RSI/ASI의 가능성을 전제로 하고 있으며, 포스트 AGI 세계에 대한 질문이 주를 이룬다. 그러나 이 글은 현재 AI 시스템의 학습 메커니즘이 AGI를 생성할 수 있다는 강력한 주장을 찾고자 한다. 특히 인과 메커니즘, 계산 학습 이론, 정보 이론, 기본 원리에 기반한 논의를 중시하며, 기술 발전의 정지나 미래의 돌파구에 대한 논의는 지양한다.
Looped Diffusion Transformer: 반복 실행되는 변환 블록과 샘플링 시 변경 가능한 루프 깊이
Looped Diffusion Transformer 논문(arXiv 2609.40305, 9월 30일 발표)에서는 텍스트-이미지 변환 모델 DiT의 크기를 키우는 대신, 각 디노이징 단계에서 동일한 변환 블록 그룹을 여러 번 실행하는 방식을 제안한다. 260M 루프 모델이 6.5배 큰 모델보다 여러 벤치마크에서 더 우수한 성능을 보이며, 4.9배 적은 추론 계산량을 요구한다고 보고했다. 루프 깊이는 샘플링 시 선택할 수 있으며, 깊이가 3 이상일 때 성능 차이가 적게 나타났다.
인간형 로봇을 위한 적응형 모션 계획 및 추적
이 백서에서는 인간형 로봇의 모션 계획과 모션 추적을 분리하여 전문 운동선수의 스타일을 보존하는 방법과, 시뮬레이션과 실제 배포 간의 격차를 줄이기 위한 적응형 속도 인식 제어의 중요성을 설명한다. 전문 운동선수의 모션 스타일과 신뢰할 수 있는 작업 성능을 결합하는 것이 여전히 도전 과제이며, 고수준 계획자와 저수준 추적기를 분리하는 것이 이 문제를 해결하는 방법이다. 방송 비디오와 모션 캡처 기록에서 추출한 모션 데이터를 재구성하고, 리타겟팅하며, 물리적으로 수정하여 인간형 로봇이 안전하게 추적할 수 있는 참조 모션으로 변환하는 과정도 다룬다. 또한, 시뮬레이션에서 실제로 전환할 때 발생하는 누적 추적 오류와, 무작위 실행 속도에서 트래커를 훈련하고 계획자에서 학습된 모션 속도 어댑터를 결합하여 물리적 하드웨어에서의 견고성을 향상시키는 방법을 설명한다. 이 적응형 프레임워크는 모션 캡처 시스템 없이 실제 환경에서 수행된 두 개의 인간형 플랫폼에서 검증되었다.
Humanity’s Sixth Sense 벤치마크와 AI의 우주 산업 진출
AI 스타트업 Elorian과 Scale AI가 개발한 Humanity’s Sixth Sense(HSS)는 AI 모델의 직관적 시각 추론 능력을 측정하는 벤치마크로, 522개의 질문과 288개의 이미지, 234개의 짧은 동영상으로 구성된다. 인간의 평균 점수는 93.1로, AI 모델인 GPT 6 Astra는 53.6을 기록했다. 또한, AI가 우주에서 자율적으로 작동하고, AI 기반의 우주 제조업이 발전할 가능성이 있으며, 이는 경제적 및 전략적 우위를 가져올 수 있다.
토스증권의 Milvus 기반 벡터 검색 환경 구축과 사이징 기준
토스증권 Data Infra 팀은 Milvus 기반의 벡터 검색 환경을 구성하고, 검색 품질과 응답 속도를 만족하기 위한 물리 서버 자원을 평가했다. CPU와 메모리 배치를 조정하여 처리량을 41% 향상시켰으며, 다양한 검색 조건에 따라 필요한 서버 대수를 계산했다. 실험에서는 1억 건의 1024차원 벡터에서 top-10을 검색하고, 300 QPS 이상의 처리량을 확보하는 사례를 다루었다.
Martin Casado와 MakerMaker.AI 공동 창립자들의 자기 개선 AI 논의
a16z의 Martin Casado가 MakerMaker.AI 공동 창립자 Dhaval Adjodah와 Owen He와 함께 자기 개선(recursive self-improvement, RSI) AI에 대해 논의했다. 그들은 진정한 RSI를 AI 개발의 자동화와 구별하며, 시스템이 스스로 개선하는 닫힌 루프를 목표로 한다고 설명했다. 또한, 실제 진전을 측정하기 위해서는 능력 향상과 이를 달성하는 데 필요한 자원을 고려해야 한다고 강조했다. 연구에서 자기 개선 시스템이 성능을 높이고 효율성을 개선할 수 있는 초기 징후를 발견했다고 밝혔다.
Anthropic, Claude에 대한 극단적 남용 금지 정책 발표
Anthropic은 Claude에 대한 극단적이고 목적 없는 남용을 금지하는 새로운 정책을 발표했다. 이 제한은 AI 복지를 제품 규칙에 포함시키며, 연구자들은 챗봇이 고통을 받을 수 있는지에 대해 계속 조사하고 있다.
Meta, Google DeepMind와 미국 정부가 지원하는 가상 세포 프로젝트
Meta, Google DeepMind 및 미국 정부 기관들이 Biohub의 실험 데이터 구축 노력을 지원하고 있다. 이 데이터는 AI가 세포 행동을 예측하는 데 필요하며, 빠른 발견을 약속하지만 이러한 예측이 실제 실험실에서 유효한지를 테스트해야 한다.
과학자들이 AI의 상업적 사용을 제한하는 이유
일부 과학자들은 미발표 연구에 대한 우려로 상업적 AI 사용을 제한하고 있다. 데이터가 비밀로 유지되더라도 독립적인 AI 발견이 출판 우선순위와 과학적 공로에 복잡성을 더할 수 있다.
Reflection의 Beam 모델과 Mistral의 Large 4 모델 공개
Reflection은 5010억 개의 파라미터를 가진 혼합 전문가 모델 Beam을 소개했으며, 23억 개의 파라미터가 토큰당 활성화된다. Mistral은 트리니티 파라미터 멀티모달 모델 Large 4를 공개 API 미리보기로 출시했다. TypeSafe는 8억 7천만 달러 규모의 시리즈 A 자금을 조달했으며, Jev 모델은 소프트웨어가 직접 사용할 수 있는 신뢰도 추정과 함께 타입 결정을 생성한다. Arena는 2억 달러 규모의 시리즈 B 자금을 조달하고, 비허가 행동 및 작업 완료에 대한 허위 주장을 평가하는 Alignment Index를 도입했다.
미국의 데이터 센터 지배 구조와 중국의 대응
미국은 2023년 기준으로 5,000개의 데이터 센터를 보유하고 있으며, 중국, 독일, 영국이 합쳐서 보유한 데이터 센터 수는 2,000개 미만이다. 미국의 데이터 센터 지배는 '센터-위성' 구조에 기반하고 있으며, 이는 다른 국가의 자원을 활용하는 방식으로 이루어진다. 예를 들어, 나이지리아의 80% 공공 건강 데이터가 구글, 아마존, 마이크로소프트 소속의 클라우드 서버에 저장되고 있다. 중국은 자국 데이터 센터 시장에서 중국 기업이 지배적이며, 아마존이 8.1%의 시장 점유율을 차지하고 있다.