AI 리서치·논문
Gemini 3의 10년 전 Hacker News 토론 분석 프로젝트
Andrej Karpathy는 Gemini 3가 10년 후 Hacker News의 프론트 페이지를 환각하는 내용을 보고, 10년 전의 HN 프론트 페이지를 분석하기 위해 ChatGPT 5.1 Thinking을 활용했다. 그는 2015년 12월의 HN 프론트 페이지와 댓글 스레드를 수집하고, 이를 통해 과거의 예측과 실제 결과를 비교 분석하는 프로젝트를 진행하고 있다. 이 작업은 Opus 4.5를 사용하여 약 3시간 만에 완료되었으며, GitHub에 프로젝트 저장소가 있다.
AI R&D 자동화를 위한 작업 목록 개발
Epoch AI의 포스트에서 AI 연구 및 개발(R&D) 자동화를 위한 작업 목록의 필요성을 강조하고 있다. 연구자들은 AI R&D의 완전 자동화가 AI 발전을 가속화할 것이라고 보고 있으며, 이를 위해 AI R&D에 포함된 작업을 구체적으로 나열하는 것이 중요하다고 주장한다. 첫 번째 버전의 분류법이 제시되었으며, 여섯 가지 범주로 나뉘어 60개 이상의 작업이 포함되어 있다. 각 작업은 현재 AI가 얼마나 자동화하고 있는지를 0에서 5까지 평가받는다.
LifeSciBench: AI 시스템의 생명 과학 연구 평가 벤치마크 도입
LifeSciBench는 AI 시스템이 실제 생명 과학 연구 작업과 결정 과정을 어떻게 처리하는지를 평가하기 위해 전문가가 작성하고 검토한 벤치마크입니다.
OpenAI, 배포 시뮬레이션 도입으로 AI 모델 행동 예측
OpenAI는 배포 시뮬레이션(Deployment Simulation) 방법을 도입하여 실제 대화 데이터를 사용해 AI 모델의 행동을 배포 전에 예측하고, 이를 통해 안전성과 평가 정확성을 향상시키고자 한다.
Meta AI 부서의 비효율성과 직원 사기 저하
Meta의 새로 형성된 AI 부서에서 비효율성이 발생하고 있으며, 이로 인해 직원들의 사기가 더욱 저하되고 있다.
GPT-5.5 Instant로 향상된 ChatGPT의 건강 및 웰니스 응답
GPT-5.5 Instant는 ChatGPT의 건강 및 웰니스 응답을 개선하며, 더 강력한 추론, 향상된 맥락 이해, 명확한 의사소통, 의사 정보 기반 평가를 제공합니다.
GPT-5.4를 활용한 AI 화학자가 의약 화학 반응 개선
OpenAI와 Molecule.one은 GPT-5.4를 사용하는 거의 자율적인 AI 화학자가 의약 화학에서 중요한 약물 제조 반응을 개선했다고 발표했다.
OpenAI 모델을 활용한 희귀 유전 질환 진단
연구자들이 OpenAI의 추론 모델을 사용하여 희귀 질환 진단을 지원하였으며, 이전에 해결되지 않았던 사례에서 18개의 새로운 진단을 확인하였다.
AMIE, 복잡한 질병 관리에서 주치의와 동등한 성능 보여
‘Nature’에 발표된 연구에 따르면, Google의 대화형 AI 시스템 AMIE가 복잡한 질병 관리에서 주치의와 유사한 성과를 보인다고 한다.
Project Ire, LOTUSLITE 변종 식별 및 분석 결과 발표
Project Ire는 LOTUSLITE 변종을 식별했으며, 이 변종은 공공 패밀리와 TTPs(도구, 전술, 절차)를 공유하지만 IOC(위협 지표)는 공유하지 않는다. Ire는 사용자 상호작용 없이 샘플에 대한 기능별 행동 보고서를 생성하였고, Acronis에 의해 최근 문서화된 Windows DLL 백도어인 LOTUSLITE와 일치하는 행동 패턴을 보였다. 분석 결과, 이 샘플의 해시는 Acronis의 IOC 목록에 없으며, 6월 4일 기준으로 주요 EDR(예: CrowdStrike Falcon, SentinelOne 등)은 이를 악성으로 탐지하지 않았다.
AI 시스템은 인간 인지를 확장하는 방식으로 작동한다
현대 AI 시스템은 인간의 인지를 복제하는 것이 아니라, 이미 존재하는 인지 구조를 확장함으로써 강력한 성능을 발휘한다. AI는 에세이 작성, 코드 생성, 복잡한 아이디어 요약, 대화 수행 등에서 뛰어난 유창성을 보이지만, 여전히 인간이 직관적으로 수행하는 작업에서는 한계를 보인다. 연구에 따르면, AI 시스템은 인간의 경험에 뿌리를 둔 구조를 모델링하고 확장함으로써 작동하며, 이는 AI의 능력과 한계를 이해하는 데 도움을 준다.
다중 에이전트 LLM 심의에서 숨겨진 앵커의 역할
다중 에이전트 LLM 심의는 에이전트들이 여러 차례에 걸쳐 답변을 교환하고 수정하는 과정으로, 이는 인간의 의사결정 방식을 반영한다. 이 과정에서 각 에이전트는 숨겨진 내부 신념인 앵커를 가지고 있으며, 이는 이웃의 의견과 관계없이 자신의 의견을 지속적으로 끌어당긴다. 연구에서는 이 앵커가 심의 과정만으로 회복될 수 있으며, 이는 고전적인 합의 규칙이 금지하는 행동인 에이전트의 자신감이 초기 신념의 범위를 넘어서는 것을 설명한다. 또한, 회복된 앵커가 예측 가능성을 가지는지를 확인하는 간단한 테스트를 통해 모델이 진정으로 앵커에 의해 구동되는지를 판단할 수 있다.
Diffusion Language Models의 실험적 분석
Diffusion Language Models (DLMs)는 다음 토큰 예측 대신 반복적인 디노이징을 통해 텍스트를 생성하는 대안 패러다임으로, 전체 시퀀스의 병렬 정제를 가능하게 한다. 본 연구에서는 8개의 최첨단 DLM을 8개의 벤치마크를 통해 평가하며, 생성 품질과 계산 효율성을 모두 고려한다. 또한, 디노이징 단계, 컨텍스트 길이, 블록 크기 및 병렬 언마스킹 전략과 같은 주요 추론 시간 요소의 영향을 분석하고, 동일한 조건에서 훈련된 소규모 모델의 통제된 비교 실험을 통해 대규모 실험을 보완한다. 이 분석은 DLM의 성능과 계산 효율성 간의 상충 관계를 강조한다.
CS2013과 CS2023에 대한 프로그램의 커리큘럼 커버리지 측정
학부 컴퓨터 과학 프로그램의 커리큘럼 커버리지를 측정하는 방법론이 제시되었다. 이 방법론은 한 인증된 컴퓨터 과학 학사 프로그램을 CS2013과 CS2023에 대해 적용하였으며, 프로그램은 CS2023의 49.7%와 CS2013의 50.9% 지식 단위를 커버하고 있다. 또한, 프로그램은 각 가이드라인에 대해 약 88%의 커버된 유닛에 대한 역량을 명확히 설명하지만, CS2023의 경우 권장 깊이에 도달하는 비율은 76%로 CS2013의 95%에 비해 낮다. 이 차이는 새로운 가이드라인의 기대치 상승을 반영한다.
오픈AI, 자율 AI 화학자 시스템 공개
오픈AI는 17일(현지시간) 화학 및 제약 전문 AI 스타트업 몰레큘 원과 협력하여 '자율 AI 화학자' 시스템을 공개했다. 이 시스템은 AI가 스스로 가설을 세우고 실험을 통해 결과를 검증할 수 있는 '자율 연구 시스템'으로, GPT-5.4, 마리아 AI, 마리아 랩의 세 부분으로 구성된다. GPT-5.4는 연구 계획 수립을 담당한다.
AI Engineer World’s Fair에서의 GPU 활용과 AI 인프라 논의
AI Engineer World’s Fair에서 참석자들은 5000달러 이상의 스폰서 크레딧을 받을 수 있으며, AI 스케일링에 관한 논의가 진행된다. xAI는 10% 미만의 MFU(Model FLOPs Utilization)로 운영되고 있으며, GPT-3는 21%, Gopher는 32%, Megatron-Turing NLG는 30%, PaLM은 46%의 MFU를 기록했다. Anjney Midha는 AI 인프라의 비효율성을 지적하며, GPU 구매가 아닌 시스템 문제 해결이 중요하다고 강조한다. 또한, AMP는 1.2GW의 기초 부하와 6GW의 스파이크 용량 목표를 가지고 있다.
Axiom, Putnam 시험에서 12/12 점수 달성
2025년, Axiom은 7개월 된 스타트업으로 Putnam 시험에서 12문제를 모두 해결하며 8/12 점수를 기록했다. 이는 최고의 학부생보다 높은 점수이며, DeepSeek의 103/120보다도 우수하다. Axiom CEO Carina Hong은 코딩 능력이 AGI로 가는 길에서 필요하지만 충분하지 않다고 언급하며, 'Verified AI'의 중요성을 강조했다. Axiom은 Verina 벤치마크에서 99%의 ProofGen 성과를 달성했으며, 이는 OpenAI의 4.9%와 비교해 매우 높은 수치이다.
Radical AI의 자율주행 실험실과 소재 발견 가속화
Joseph Krause는 Radical AI를 설립하여 소재 발견 과정을 10배 가속화하고 있다. 이들은 자율주행 실험실(SDL)을 통해 AI 과학자가 가설을 생성하고 자동화 로봇이 소재를 합성 및 특성 분석하는 시스템을 운영하고 있다. Radical은 6개월 동안 1200개의 합금을 생산하고 특성 분석을 완료했으며, 하루에 100개의 새로운 합금을 테스트할 수 있을 것으로 예상하고 있다. 이들은 300개의 새로운 소재를 제안하고 테스트하여 10개의 혁신적인 특성을 가진 소재를 발견했다.
GPU 아키텍처에 따른 3D 생성 확산 모델의 성능 분석 및 최적화
확산 모델은 고충실도 3D MRI 합성에 필수적이나, 수백 개의 U-Net 평가로 인한 GPU 자원 요구가 크다. 본 논문은 NVIDIA 아키텍처 3세대에서 의료 확산 모델 Med-DDPM의 성능 분석을 수행하고, 커널 수준의 런타임 분해, 메모리 시스템 활용도, 텐서 코어 활용도를 평가하였다. cuDNN 컨볼루션과 암묵적 GEMM 커널이 훈련의 대부분을 차지하며, 메모리 접근 패턴과 텐서 레이아웃 변환에서 비효율성이 발생함을 보여준다. TF32 텐서 코어 활성화 및 3D 채널-마지막 레이아웃 최적화를 통해 SM 사이클을 최대 100배 줄이고, 동적 명령어 수를 100배 감소시키며, A100에서 텐서 코어 활용도를 1.45에서 9.98배로 증가시켰다.
Gated Uncertainty-Aware Routing for Distillation을 통한 경량화된 과학적 시계열 예측
Time-Series Foundation Models (TSFMs)의 배포는 특정 과학 분야에 적용할 때 심각한 분포 불일치 문제와 높은 계산 비용으로 인해 제한된다. 본 연구에서는 Gated Uncertainty-Aware Routing for Distillation (Guard)라는 새로운 프레임워크를 제안하며, 이는 다중 교사 증류를 인스턴스별 결정 과정으로 재구성한다. 이 프레임워크는 두 가지 적응 메커니즘을 포함한다: (1) Contextual Router는 지역 입력 통계에 따라 가장 관련성 높은 교사를 동적으로 선택하고, (2) Uncertainty-Gated Temperature 메커니즘은 교사의 신뢰도가 도메인 현실과 다를 때 증류 강도를 자동으로 조절한다. 이 방법은 기후 관련 네 가지 도메인에서 RMSE를 유의미하게 감소시켰으며, 최적의 제로샷 정확도를 보이지 않는 사전 훈련된 모델로부터 지식을 성공적으로 증류할 수 있음을 보여준다.
SPSD를 통한 클라우드 LLM 추론에서의 사용자 프롬프트 압축
SPSD(Sentiment Preserving Semantic Distillation)는 4비트 양자화된 소형 언어 모델을 사용하여 사용자 프롬프트를 압축하고 클라우드에 배포된 LLM으로 전송하는 엣지 기반 파이프라인이다. 248개의 프롬프트를 평가한 결과, 평균 99.9개의 입력 토큰이 절약되었으며, 모든 146개의 압축 호출에서 긍정적인 절약이 나타났다. 응답 품질은 15점 척도에서 사전 지정된 1점 마진 내에서 원본 경로와 비슷한 수준으로 평가되었고, 안전-critical 도메인은 규칙 기반 게이트를 통해 보수적으로 처리된다. 각 호출당 순 에너지 절약량은 70-270 uWh로 추정된다.
계산 가능성에 대한 새로운 접근: 계산 가능성 정의
이 논문에서는 목표 쿼리나 관심 파라미터의 계산 가능성을 정보의 유형과 양에 따라 설명하는 식별 조건을 다룬다. 특히, 인과 식별에서 이 정보는 인과 그래프의 형태로 표현되며, 그래프의 일부 변수에 대해 관측된 데이터를 사용한다. '계산 가능성'이라는 새로운 프레임워크를 제안하며, 이는 경험적 추정량을 위한 유한한 계산 검색 절차를 정의한다. 이 절차가 원하는 오차 허용 범위 내에서 추정량을 찾으면 식별 가능성이 충족된다. 여러 실험을 통해 작은 유한 샘플, 모호한 그래픽 기준, 혼합 관찰-개입 데이터 및 반사실적 데이터에서의 식별 질문을 해결할 수 있음을 보여준다.
Reiner Pope의 칩 설계 강의 및 MatX 소개
Reiner Pope가 기본 논리 게이트부터 시작하여 GPU, TPU, FPGA, 인간 두뇌의 구조까지 설명하는 강의를 진행했다. Reiner는 새로운 칩 스타트업 MatX의 CEO이며, 이전에는 Google에서 소프트웨어 효율성, 컴파일러, TPU 아키텍처에 대해 작업했다. 또한, Crusoe는 SemiAnalysis의 ClusterMAX 보고서에서 금 티어 GPU 클라우드 중 하나로, 동일한 GPU 가격에도 불구하고 5-15% 낮은 총 소유 비용(TCO)을 제공한다. Jane Street와의 대화에서는 AI 사용 및 기술 인재 채용에 대한 의견이 나왔다.
AGI 경제학과 AI 부의 재분배 문제
Dwarkesh Podcast의 에피소드에서 Alex Imas와 Phil Trammell이 AGI와 관련된 경제적 질문들에 대해 논의했다. AI로 생성된 부를 어떻게 세금으로 재분배할 것인지, AI 공급망에 포함되지 않은 국가들이 이익을 어떻게 얻을 것인지, 불평등이 폭발하지 않는 세계가 가능한지에 대한 질문이 제기되었다. 또한, Jane Street는 연구자와 엔지니어를 양성하기 위해 강의와 부트캠프를 운영하고 있으며, Google의 Gemini Omni는 비디오 편집 기능을 제공한다.