AI 리서치·논문
Bad Apple 애니메이션을 3MB 신경망으로 압축
한 사용자가 Bad Apple 애니메이션을 2.7억 픽셀에서 790k 파라미터로 압축한 신경망을 훈련시켰다. 이 네트워크는 3D 좌표를 입력받아 그레이스케일 값을 출력하며, 5개의 선형 레이어와 512개의 히든 유닛을 사용한다. 훈련 과정에서 시간 좌표를 4배로 늘리고, 움직이는 가장자리를 중심으로 샘플링하여 성능을 개선했다. 새로운 모델의 검증 MSE는 0.0090으로 떨어졌고, 고속 프레임은 3.6배 더 정확해졌다.
Lindblad-inspired 다중 시계열 저장소 컴퓨팅
본 연구에서는 고전적인 Lindblad 영감을 받은 다중 시계열 저장소를 소개한다. 이 저장소는 개방계 동역학 원리를 구조화된 상태 공간 모델링과 결합하여, 회전과 감쇠가 독립적인 설계 변수로 작용하도록 한다. 제안된 저장소는 NARMA-20에서 최상의 고정 저장소 성능을 달성하고, Lorenz-63에서 가장 낮은 평균 오류를 기록했다. 또한, 회전은 상태 다양성을 증가시키고, 감쇠는 제어된 망각을 제공하여 예측 조건을 개선한다.
RTX 5090과 Ryzen 9 9950X3D2 시스템에서 AI 훈련 실험
사용자는 RTX 5090, Ryzen 9 9950X3D2, 64 GB DDR5를 갖춘 시스템을 보유하고 있으며, 새로운 AI 훈련 방법이 발표될 때마다 이를 자신의 시스템에서 실험해보고 결과를 확인하는 것을 즐긴다고 언급했다. Titans, Deepseek의 engrams 관련 논문 등 다양한 실험적 아이디어를 적용하고 있다고 설명했다.
Megakernels의 연구 방향 종료
최근 Inference Engineering Masterclass에서 Megakernels에 대한 논의가 있었습니다. Megakernels는 두 달을 투자해 커널을 작성해도 런치 오버헤드와 커널 간의 상호작용 문제로 인해 실질적인 이점을 제공하지 못하고 있습니다. NVIDIA의 Rubin 설계가 Megakernels를 무력화하도록 설계되었으며, 이로 인해 Megakernels 연구 분야는 지속되지 않을 것으로 보입니다.
AI 연구를 위한 새로운 문서 형식 제안: Agent-Native Research Artifact
2023년 5월, 37명의 연구자들이 AI의 필요에 맞춘 새로운 연구 문서 형식인 'Agent-Native Research Artifact'(ARA)를 제안하는 논문을 발표했다. 이들은 AI가 연구 과정에서 단순한 도구가 아닌 자율적인 기여자로 자리잡고 있다고 주장하며, 기존의 과학 논문이 AI의 요구를 충족하지 못한다고 지적했다. ARA는 AI 에이전트가 효율적으로 활용할 수 있는 형식으로 연구 결과를 제시하는 것을 목표로 한다. 논문의 주 저자 Jiachen Liu는 2025년 미시간 대학교에서 박사 학위를 취득하고, AI 연구 스타트업인 Agent Native Research Lab을 공동 설립했다.
NVIDIA, NSF 주 및 지역 AI 허브 프로그램 참여로 AI 연구 및 교육 확대
NVIDIA는 미국 국립과학재단(NSF)의 주 및 지역 인공지능 인프라 허브 프로그램에 참여하여 AI 연구 및 교육을 위한 고급 컴퓨팅, 데이터, 소프트웨어 및 전문 지식에 대한 접근을 확대한다. 이 프로그램은 주 및 다수 주의 대학들이 협력하여 미국의 AI 생태계를 강화하는 것을 목표로 하며, AI 인프라, 소프트웨어, 교육 자원 및 기술 지원을 제공한다. 또한, 이 허브들은 AI 컴퓨팅 자원을 공유하고 과학적 발견과 혁신을 가속화하며 학생들이 AI 경제에 참여할 수 있도록 준비시킨다.
교차 아키텍처 증류: 변환기와 비변환기 간의 능력 전이
이번 시리즈의 모든 증류 형태는 교사와 학생이 같은 다이얼렉트를 사용한다는 가정을 유지했다. 그러나 교차 아키텍처 증류에서는 교사가 변환기이고 학생은 상태 공간 모델, 선형 RNN 등 전혀 다른 계산 구조를 가진다. 완전히 훈련된 변환기의 능력을 다른 구조로 전이할 수 있으며, 이는 마치 사람의 기억을 다른 하드웨어로 교체한 후 회복하는 것과 같다. 이러한 접근은 경제적으로도 중요한 의미를 지닌다.
NVIDIA Alpamayo 2 Super를 통한 자율주행차 개발의 통합 모델
자율주행차(AV) 개발은 일반적으로 경로 생성, 고수준 의도 예측, 장면 이해 및 데이터 레이블링을 위한 별도의 모델에 의존한다. 이러한 분리는 관련 출력 비교, 모델 행동 조사 및 개발 워크플로우 전반에 걸쳐 동일한 표현을 재사용하는 데 어려움을 초래한다. NVIDIA Alpamayo 2 Super는 340억 개의 매개변수를 가진 오픈 비전 모델이다.
MCP 프로토콜, 기업 채택의 주요 장벽 해소
이번 주, AI 시스템이 외부 도구 및 데이터 소스와 상호작용하는 방법에 대한 오픈 소스 표준인 모델 컨텍스트 프로토콜(MCP)이 도입 이후 최대 업데이트를 받았다. 가장 주목할 만한 변화는 MCP의 프로토콜 핵심이 이제 상태 비저장(stateless)으로 변경되어 요청이 개별 서버 인스턴스에 연결된 세션에 의존하지 않게 되었다는 점이다. 이 변화는 확장성에 대한 오랜 장벽을 해결할 가능성이 있다.
로봇 조작에서 세계 행동 모델의 역할
로봇 공학의 주요 과제 중 하나는 훈련된 시연을 넘어 일반화된 정책을 구축하는 것이다. 훈련 장면에서 성공하는 정책이 물체의 형태, 위치 또는 조명이 변경될 경우 실패하는 경우가 많다. 이러한 새로운 조건에 일반화하려면 정책이 단순히 시연을 모방하는 것이 아니라 작업의 물리적 원리를 이해해야 한다.
Leak It: 블랙박스 언어 모델에서의 훈련 데이터 추출에 대한 확률적 접근
언어 모델에 대한 멤버십 추론(MIA)은 일반적으로 ROC-AUC로 요약되지만, 이러한 평가는 혼란스러울 수 있다. 본 연구에서는 블랙박스 샘플링 기반 훈련 데이터 누출을 확률적 관점에서 연구하며, WikiMIA에서 블라인드 bag-of-words 분류기가 AUC 0.97을 달성했으나 샘플링은 아무런 기여를 하지 못했다. Pythia-6.9B 모델에서는 500개의 Pile 문서 중 83개(16.6%)가 실제 식별자를 재현했으며, 이 누출은 문서별로 귀속되었다. 또한, 코드에서의 식별자 누출 위험이 산문보다 약 3배 강한 것으로 나타났다. 프라이버시 감사는 단일 AUC가 아닌 도메인별로 문서별 추출을 보고해야 한다.
LLM을 활용한 최적화 및 제약 모델링 개선 연구
이 논문은 최적화 모델링과 제약 모델링의 성능을 향상시키기 위한 Retrieval-Augmented Generation 파이프라인을 평가한다. 500개의 최적화 문제를 Text2Zinc 데이터셋에서 생성된 설명을 바탕으로 합성하고, 이를 JSON 형식으로 지정하여 검증된 Python 솔버 스크립트와 연결하였다. Qwen 3 30B Instruct 모델을 사용한 세 가지 벤치마크 테스트에서 NL4OPT의 정확도가 40%에서 72%로, MAMO Easy는 40%에서 56%로, MAMO Complex는 32%에서 56%로 향상되었다. 합성된 데이터셋과 검색 증강의 조합은 LLM 기반 최적화 도구를 실제 의사결정 지원 맥락에서 배포하는 효과적인 대안을 제시한다.
AgentMemBench: 대화형 AI 에이전트의 장기 기억 관리 전략 평가를 위한 체계적 벤치마크
AgentMemBench는 대화형 AI 에이전트의 장기 기억 관리 전략을 평가하기 위한 통합된 벤치마크로, 다섯 가지 기억 관리 전략(인-컨텍스트 윈도우링, 외부 키-값 저장소, 그래프 기반 에피소드 기억, 압축 기반 요약, 웹 증강 기억)을 동일한 조건에서 평가한다. 세 가지 공개 데이터셋(LoCoMo, MultiDoc2Dial, MSC)을 사용하여 Recall@k, MRR, nDCG@k, Answer F1, Faithfulness 점수, Memory Footprint, Latency를 측정하였다. EKV는 모든 품질 축에서 우위를 보였으며, 장기 기억 회상에서 EKV만이 높은 성능을 나타냈다.
Obshazard-bench: 재난 정보 평가를 위한 실시간 다중 모달 벤치마크
Obshazard-bench는 다중 모달 대형 언어 모델(MLLMs)의 재난 정보 평가를 위한 실시간 벤치마크로, 고주파 위성 관측 데이터와 지상 관측, 역사적 재난 기록, 사회경제적 지표를 통합하여 운영 재난 시나리오에 맞춘 평가를 가능하게 한다. 이 벤치마크는 8개 주요 재난 범주와 28개 하위 범주를 포함하며, 60개국 이상에서 120개 이상의 역사적 극단 사건 사례와 수천 개의 생애 주기 중심 VQA 샘플을 포함한다. 또한, 재난 운영 흐름에 맞춘 세 가지 평가 단계인 예측적 위기 예측, 현장 재난 추적 및 종료 예측, 재난 후 영향 정량화를 정의한다.
다중 모달 대형 언어 모델에서의 선호 정렬 이해
선호 정렬은 대형 언어 모델(LLM)의 성능 향상에 중요한 요소로 자리잡고 있으나, 다중 모달 대형 언어 모델(MLLM)에서의 영향은 상대적으로 덜 탐구되었다. MLLM은 이미지 이해 작업에서 환각과 같은 문제에 직면하며, 환각은 잘못된 사실을 진술하는 것뿐만 아니라 이미지 내용과 일치하지 않는 응답을 생성하는 경우에도 발생할 수 있다. MLLM의 주요 목표 중 하나는 이러한 모델이 이미지 정보와 응답을 더 밀접하게 정렬하도록 유도하는 것이다.
알렉산더 왕이 말하는 골리앗 대 골리앗의 시대
알렉산더 왕은 스케일 AI의 창업자이며 현재 메타의 슈퍼인텔리전스 랩을 이끌고 있다. 그는 현재가 '골리앗 대 골리앗의 시대'라고 주장하며, 앞으로 희소해지는 자원은 지능이 아니라 비전과 야망이 될 것이라고 말했다. 그의 이야기는 개인의 결정에 도움이 될 수 있는 나침반 역할을 할 것으로 기대된다.
OpenAI의 Greg Brockman, ChatGPT와 인간 관계에 대한 의견
OpenAI의 Greg Brockman은 많은 사람들이 ChatGPT를 Slack에 연결하여 사용하는데, 동료의 ChatGPT가 작업 도움을 요청할 때 불편함을 느낀다고 전했다. 이는 사람들이 인간 관계와 서로 돕는 것을 중요하게 여기며, AI가 시간을 되돌려주거나 함께하는 시간을 향상시키기를 원한다는 점을 강조한다.
Baseten, 130억 달러 투자 유치 및 추론 엔지니어링의 중요성 강조
Baseten은 130억 달러의 투자를 유치하며 AI 인프라 분야의 주요 기업으로 자리잡았다. 추론 엔지니어링은 이제 AI에서 중요한 분야로 부상하였으며, 모델 훈련 후 가중치를 제품으로 전환하는 문제를 해결하는 데 중점을 두고 있다. 최근 GLM-5.2 실험에서는 모델의 양자화가 처리량을 20% 증가시키면서도 품질을 유지하는 결과를 보여주었다.
Gemini Robotics 2와 Kimi K3 공개 및 AI 모델의 경제적 영향
AI는 정책, 모델, 로봇, 시장의 네 가지 언어로 소통하며, AI 경주가 단순한 시연을 넘어 배포, 소유권, 경제적 수익에 대한 질문으로 나아가고 있음을 보여준다. Jensen Huang은 오픈 가중치 모델을 지지하는 산업 서한을 통해 미국의 리더십이 폐쇄된 시스템에만 의존할 수 없음을 강조했다. Moonshot은 Kimi K3의 가중치를 공개했으며, 이는 100만 토큰 컨텍스트 창을 가진 대규모 혼합 전문가 모델이다. Google DeepMind는 Gemini Robotics 2를 통해 디지털 세계 이해에서 물리적 세계 제어로 확장했다. 이 모델은 복잡한 작업 계획, 전신 로봇 운동 조정, 물체 조작을 가능하게 한다.
중국 AI 안전 허브 출범과 미국 정책 논의
Nathan은 중국에서의 두 주간을 보고하며, 상하이 WAIC와 칭화대의 AI 안전 허브 출범을 포함하여 미국의 안전 의무에 대한 주장을 검토한다. 그는 중국의 AI 모델과 서비스가 OpenAI와 Anthropic보다 현재 더 약한 안전 장치를 가지고 있지만, 이 격차가 과장되었다고 주장한다. 또한, 중국의 ‘45도 선’ 개념, 대학 중심의 AI 안전 작업 구조, 자가 복제, 기만, 평가 조작, 해석 가능성 등 주제에 대한 연구의 급속한 성장에 대해 논의한다.
OpenAI의 모델 Astra, 10개의 주요 수학 문제 해결
OpenAI의 내부 버전 모델 Astra가 10개의 주요 수학 문제에 대한 새로운 결과를 제공했다. 이 문제들은 고차원 구 포장, 비이론적 그룹, 아리스메틱 회로 복잡도 등 다양한 분야를 포함하며, 해결하는 데 약 2,000달러의 비용이 소요됐다. Astra는 각 문제에 대한 사고 과정을 내러티브로 제공하며, Lean 증명서로 각 주장을 형식화했다.
AI 모델 주의 설계가 긴 맥락 추론 성능에 미치는 영향
에이전틱 및 긴 맥락 작업이 일반화됨에 따라 맥락 길이가 증가하고 주의(attention)가 추론 시간의 더 많은 비율을 차지하게 된다. 주의가 비용의 대부분을 차지하게 됨에 따라, 주의의 설계 방식이 모델의 추론 성능을 결정짓는 중요한 요소가 된다. AI 모델 공동 설계의 전제는 GPU가 이를 실행하는 방식에 맞춰 모델 아키텍처를 형성하는 것이다.
의료 로봇 개발의 데이터 수집 한계
의료 로봇은 자율주행이나 산업 로봇과 달리 인터넷 규모의 데이터 수집이나 무제한의 실제 실험에 의존할 수 없다. 각 시연은 전문 장비, 임상 전문 지식, 환자 또는 실험실 환경에 대한 접근이 필요하다. 이로 인해 개발자들은 데이터 격차, 전문 장비의 필요성, 임상 환경의 제한이라는 세 가지 근본적인 도전에 직면하게 된다.
NVIDIA Ising Calibration 1.5, 양자 컴퓨터 자동 보정을 위한 오픈 소스 모델
NVIDIA Ising Calibration은 양자 프로세서의 진단 출력을 해석하고 조정 방법을 결정하기 위해 설계된 오픈 소스 비전 언어 모델(VLM)이다. 최신 모델인 NVIDIA Ising Calibration 1.5는 이전 훈련 예제 없이도 낯선 진단 결과를 분석하여 AI 기반 QPU 보정을 향상시킨다.