AI 리서치·논문
AI 인프라 효율성을 위한 성능 대비 전력 소비의 중요성
AI 인프라에서 전력은 필수적인 제약 조건이다. AI 공장이 고정된 전력 예산 내에서 생성할 수 있는 토큰 수는 수익성과 직결된다. NVIDIA Blackwell NVL72 플랫폼은 최고 성능 대비 전력 소비를 제공하며, 72-GPU 도메인에서 MoE 아키텍처를 효율적으로 지원한다. NVIDIA GB300 NVL72 시스템은 NVIDIA Hopper 세대에 비해 최대 25배의 성능 대비 전력 소비를 제공하며, 이는 AI 추론 작업의 토큰 처리량을 극대화하기 위해 설계된 코드 디자인의 결과이다. 또한, NVIDIA DSX MaxLPS는 전력과 효율성을 개선하여 동일한 전력 예산 내에서 최대 40% 더 많은 GPU를 운영할 수 있게 한다.
UAE, AI 기반 정부 앱 TAMM 도입 및 AI 전략 발표
아부다비에서 AI는 일상 생활의 일부로 자리잡고 있으며, 'TAMM'이라는 앱이 국가 ID, 건강 보험, 차량 등록 갱신 등을 자동으로 처리한다. UAE는 2017년에 세계 최초의 AI 장관을 임명하고, 2019년에는 세계 최초의 AI 전공 대학인 모하메드 빈 자이드 인공지능 대학(MBZUAI)을 설립했다. UAE의 국가 AI 전략은 2031년까지 AI 중심의 명성을 구축하고, 2030년까지 AI가 GDP의 11%를 기여할 것으로 예상하고 있다.
블록체인 이전의 상태 기계 복제 기술
현재의 모든 블록체인은 1980년대에 개발된 복제 기술에 의존하고 있다. MIT 교수이자 튜링상 수상자인 바바라 리스코프와 a16z의 암호 연구 파트너 이타이 아브라함이 블록체인 네트워크의 기초가 되는 아이디어의 진화를 추적하며, 뷰스탬프 복제, 실용적인 비잔틴 내결함성(PBFT), 상태 기계 복제 등을 논의한다. 이들은 비트코인이 등장하기 수십 년 전 개발된 개념들이 오늘날 블록체인 프로토콜의 기초가 된 이유를 설명한다.
Gavin Baker가 말하는 AI 투자 사이클과 데이터 센터, GPU의 경제적 의미
Gavin Baker, Atreides Management의 매니징 파트너가 AI 투자 사이클에 대한 주요 질문을 다루며, 데이터 센터와 GPU의 전례 없는 구축이 경제에 미치는 영향을 논의했다. 그는 오늘날의 AI 투자 사이클이 2000년대 초 인터넷 버블과 근본적으로 다르다고 주장하며, Nvidia, Google, 맞춤형 실리콘, AI 인프라, 응용 소프트웨어, 로봇 공학에 대해 이야기했다. 또한 GPU 경제학, 기업 소프트웨어, AI 비즈니스 모델에 대해서도 논의하였다.
중국 AI 생태계 소식: Meituan의 LongCat-2.0 출시
Meituan이 50,000개의 중국 칩으로 훈련된 첫 번째 조정 매개변수 1조 모델인 LongCat-2.0을 공식 출시했다. 이 모델은 중국 칩을 전적으로 사용하여 훈련된 최초의 사례로, 이전에 DeepSeek와 Zhipu의 모델이 전적으로 중국 칩으로 훈련되었다는 잘못된 정보가 퍼진 바 있다. 또한, AI 안전 벤치마크 결과가 발표되었으며, 에이전트의 유해 행동 비율이 높다는 평가가 나왔다.
AI의 발전과 직업의 미래에 대한 논의
지난주 서울에서 열린 국제 머신러닝 컨퍼런스에서 '우리가 할 일이 남아 있을까?'라는 주제로 기조연설을 했다. AI의 능력이 증가함에 따라 우리가 어떻게 적응해야 하는지에 대한 우려를 다뤘다. AI는 정상 기술로서의 프레임워크를 통해 AI의 영향력을 이해하고, 재귀적 자기 개선이 일어나더라도 갑작스럽게 모든 일자리를 대체하지는 않을 것이라고 주장했다. 미래의 일자리는 급격히 변화할 것이며, AI와의 협업을 통해 인간의 잠재력을 증대시킬 수 있는 기회가 있다.
NVIDIA의 Ising 디코딩, 색 코드 논리 오류율 300배 이상 감소
유용한 양자 컴퓨터는 오류 내성이 있는 논리 연산을 필요로 하며, 연구자들은 이를 위해 다양한 양자 오류 수정(QEC) 코드를 탐색하고 있다. 특히, 표면 코드와 같은 위상 코드 계열을 통해 논리 연산을 수행하는 방법이 잘 알려져 있다. 이와 관련하여 NVIDIA는 Ising 디코딩을 통해 색 코드의 논리 오류율을 300배 이상 감소시켰다.
로봇 공학 기초 모델의 평가 방법론 소개
로봇 공학 기초 모델은 자연어 지시를 따라 다양한 물체를 집고, 놓고, 정렬하고 조작할 수 있는 능력을 갖추게 되었다. 그러나 이러한 모델의 능력이 향상됨에 따라, 이를 엄격하게 평가하는 것이 가장 어려운 문제 중 하나로 남아 있다. 이 블로그 포스트에서는 이러한 주요 문제와 이를 해결하기 위한 방법론을 소개한다.
가이드 생성 모델을 통한 극단적 사건 확률 추정
과학, 공학, 금융 분야에서 중요한 위험은 낮은 발생 확률과 높은 영향력을 가진 사건에서 발생한다. 이러한 사건의 확률을 추정하기 위해 몬테 카를로 샘플링을 사용할 경우, 모델을 반복적으로 실행해야 하며, 각 샘플이 무작위로 선택된 입력에서 발생하기 때문에 과도한 모델 반복이 필요할 수 있다.
EBR-bench 출시 및 AI 소프트웨어 취약점 발견 현황
Epoch AI는 EBR-bench를 출시하여 AI의 경험 학습 능력을 테스트하는 복잡한 보드 게임을 이용한 벤치마크를 공개했다. 현재까지 AI가 경험으로부터 학습하는 증거는 미미하며, EBR-bench는 이러한 변화를 감지하는 도구로 사용될 예정이다. 또한, AI가 소프트웨어 취약점을 대규모로 발견하고 있으며, 21개 주요 조직이 1,500개의 고위험 CVE를 공개했다. OpenAI의 GPT-4는 2023년 3월 출시 이후 Epoch Capabilities Index에서 약 1년간 1위를 유지했다.
SymCrypt에서 Rust를 활용한 암호화 검증
SymCrypt는 Rust, Aeneas, Lean을 사용하여 새로운 검증된 암호화를 개발하고 있으며, 이는 포스트 양자 암호화 알고리즘에 대한 높은 보안 보장을 제공합니다. Microsoft는 SHA-3 및 ML-KEM에 대한 검증된 코드, 사양, 속성 및 증명을 공개하고 있습니다. Aeneas는 Rust 코드의 대규모 검증을 가능하게 하며, Lean에서의 효율적인 자동화를 지원합니다. SymCrypt는 Windows 및 Azure를 포함한 여러 제품과 서비스에 사용되는 Microsoft의 오픈 소스 암호화 라이브러리입니다.
Anthropic의 LLM 내부 메커니즘 연구 결과
Anthropic은 LLM(대형 언어 모델)의 내부 메커니즘을 이해하기 위해 J-space라는 공간을 발견했다. 이 공간은 출력에 나타나지 않지만 문제 해결에 영향을 미치는 단어들로 채워져 있다. 이 연구는 Anthropic의 모델 Claude를 통해 새로운 기법으로 이루어졌으며, LLM이 특정 작업에서의 진행 상황을 추적하거나 결정 과정에 대한 내부 논평을 나타낼 수 있음을 보여준다.
LLM 생성 임상 시험 요약의 신뢰성 평가 및 개선
대형 언어 모델(LLM)은 의료 제공자, 환자 및 지불자를 위한 임상 시험 결과 요약에 사용되지만, 허위 정보 생성 경향이 있어 위험이 크다. 이 연구는 세 가지 이해관계자 대상을 위한 LLM 생성 임상 시험 요약의 신뢰성을 측정하기 위한 벤치마크 평가 프레임워크를 소개한다. 이 프레임워크는 Aggregate Analysis of ClinicalTrials.gov 데이터베이스에서 추출한 200개의 계층화된 시험을 포함하며, 청중별 프롬프트 템플릿과 여섯 가지 차원의 신뢰성 주석 스키마를 사용하여 평가된다. GPT-4o, Claude Sonnet 4.6, Gemini 2.5 Flash의 1,800개 생성 요약에 대한 기준 측정이 설정되었고, 모든 모델에서 '지원되지 않는 주장'이 주요 실패 모드로 확인되었다. 지식 그래프를 활용한 검색 시스템이 개발되어 기준선과 비교 평가되었으며, NLI 기반 신뢰성 점수에서 통계적으로 유의미한 개선을 보였다.
SciML 방법의 구조적 선행 조건이 예측 성능에 미치는 영향 연구
Scientific Machine Learning (SciML) 방법인 Neural Ordinary Differential Equations (NODEs), Physics-Informed Neural Networks (PINNs), Universal Differential Equations (UDEs)는 구조적 선행 조건이 신뢰할 수 있는 동역학을 반영할 때 가장 효과적이다. 본 연구에서는 거시경제 예측을 스트레스 테스트 도메인으로 사용하여 ARIMA, LSTM, NODE, PINN, UDE의 다섯 가지 모델 패밀리를 23개 국가에서 평가하였다. 결과적으로, 평가된 모델들은 일관된 예측 성능을 보이지 않았으며, ARIMA와 NODE와 같은 덜 제약된 모델이 PINN과 UDE와 같은 더 제약된 모델보다 일관되게 우수한 성능을 보였다. 이는 SciML의 거부가 아니라, 구조적 선행 조건이 데이터 생성 과정과 일치하지 않을 때 잘못된 정규화로 작용할 수 있음을 보여준다.
머지 아비트리지 예측을 위한 언어 모델 시스템
이 연구에서는 M&A 거래의 결과를 예측하는 머지 아비트리지에 특화된 언어 모델 예측 시스템을 제시한다. 이 시스템은 수백 페이지의 기술 문서에 대한 긴 맥락 추론을 요구하며, 전문가의 맥락 설계와 역사적 거래에서 유도된 후향적 추론 트레이스를 기반으로 파인튜닝을 결합한다. 발표된 거래에 대해 세 가지 상호 배타적 결과(발표된 조건으로 종료, 더 높은 입찰, 거래 종료)에 대한 확률 분포를 출력하며, 42개국의 400건 이상의 대규모 거래에 대한 평가에서 Brier 점수를 0.151로 줄이며 최고의 성능을 달성하였다.
YUKTI: 자연어 상황을 수치적 계획으로 변환하는 새로운 접근법
YUKTI는 언어 모델이 단일 목표와 점수 기반 계수를 사용하는 기존 파이프라인의 한계를 극복하기 위해, 관계가 형상 사전, 계수 불확실성 및 출처를 포함하는 유형 제안 그래프를 사용한다. YUKTI는 각 단계를 정확한 비선형 또는 진화적 해결사로 라우팅하고, 분포적 파레토 핸드오프를 통해 단계를 연결하며, 가정 강건 파레토 경계(ARPF)를 도입하여 각 행동이 얼마나 자주 생존하는지를 평가한다. 세 가지 방법으로 검증하였고, 강건한 타협안은 평균 및 꼬리 후회를 90% 이상 줄였다. YUKTI는 LLM이 단순한 수치 제공 시 약 47배의 후회를 초래하는 것과 비교하여 더 나은 성능을 보였다.
Bilibili에서 개발한 Index-1.9B 시리즈 언어 모델
Bilibili에서 개발한 Index-1.9B는 1.9억 개의 비임베딩 파라미터를 가진 네 가지 모델로 구성된다. Index-1.9B-Base는 2.8조 개의 주로 중국어와 영어 토큰으로 사전 학습된 기초 모델이다. Index-1.9B-Pure는 모든 지시형 데이터를 필터링하여 학습된 변형 모델이며, Index-1.9B-Chat은 감독된 미세 조정과 직접 선호 최적화를 통해 정렬된 모델이다. Index-1.9B-Character는 채팅 모델에 검색 증강 생성을 추가하여 역할 놀이 맞춤화를 지원한다. Index-1.9B-Base는 여러 표준 벤치마크에서 평균 64.92점을 기록하며, 그 크기의 몇 배에 달하는 오픈 모델과 경쟁력을 보인다. 모든 모델과 평가 코드는 https://github.com/bilibili/Index-1.9B에서 공개된다.
메시지 형식의 효과는 계층에 따라 다르다: 다중 홉 에이전트 릴레이에서의 연구
LLM 에이전트가 정보를 서로 전달할 때 메시지 형식이 중요한지에 대한 연구가 진행되었다. 연구에서는 12개의 원자 사실을 다섯 가지 형식(NL, JSON, triples, key-value)으로 재인코딩하여 6회 릴레이하며, 두 가지 릴레이 능력 계층에서 평가하였다. 결과적으로 메시지 형식의 효과는 계층에 따라 다르며, 강력한 릴레이에서는 손실이 거의 없고, 약한 릴레이에서는 형식 간의 기억력 차이가 8.7배 증가하였다. 잘못된 값이 주입되면 모든 형식에서 최종 홉까지 83-100%의 확률로 지속된다.
로봇의 감정 인식 능력 향상을 위한 비전 언어 모델 연구
연구자들은 로봇이 인간의 감정을 읽을 수 있도록 비전 언어 모델(VLM)을 훈련시켰다. 이 연구는 40명의 자원봉사자를 대상으로 진행되었으며, 로봇의 감정 인식 능력이 인간의 인식에 미치는 영향을 평가하였다. VLM은 전통적인 AI 시스템보다 높은 정확도로 감정을 분류했으며, 0.86의 점수를 기록했다. 그러나 로봇의 기능이 결여될 경우, 감정적으로 적응한 사과가 신뢰를 회복하는 데 한계가 있음을 보여주었다.
X Square Robot의 일반 목적 로봇을 위한 통합 스택 개발
X Square Robot은 로봇의 인공지능을 위한 통합 스택을 제안하고 있다. 이 스택은 로봇이 학습하는 데이터, 물리적 세계의 변화를 예측하는 월드 모델, 인식, 계획, 추론, 의사결정을 통합한 행동 모델로 구성된다. 또한, X Square Robot은 QUANXTA Zero Series라는 데이터 수집 시스템을 통해 인간의 시연 데이터를 수집하고, 품질 관리를 통해 유효한 데이터를 확보하는 방식을 채택하고 있다. 이 시스템은 로봇의 동작을 실제로 재생하여 유효성을 검증하며, 로봇 데이터와 인간 데이터를 결합하여 비용 효율적인 데이터셋을 구축하고 있다.
Ahmad Osman, 로컬 AI의 중요성과 발전에 대해
Ahmad Osman은 AI Engineer World’s Fair에서 로컬 AI의 중요성을 강조하며, Osmantic이라는 회사를 통해 로컬 AI 시스템을 위한 오픈 소스 소프트웨어를 개발하고 있다. 그는 로컬 AI가 대형 독점 모델에 대한 신뢰할 수 있는 대안으로 부상하고 있으며, 오픈 소스 LLM의 발전이 이를 뒷받침하고 있다고 주장했다. 워크숍에서는 DGX Spark, AMD Strix Halo 기기 등을 비교하며 로컬 AI의 성능을 직접 체험할 수 있는 기회를 제공했다. 참가자들은 학생부터 기업 임원까지 다양했으며, 로컬 AI의 제어 가능성에 대한 관심이 높았다.
모델 증류의 역사: 2006년부터 2015년까지
지식 증류에 대한 일반적인 이야기는 2015년에 Geoffrey Hinton, Oriol Vinyals, Jeff Dean이 소프트맥스 온도 조정 기법과 '어두운 지식'이라는 용어를 도입한 것으로 시작된다. 그러나 이 이야기는 2006년부터 2015년까지의 실제 역사를 간과하고 있다. 이 시기에 이루어진 개념적 변화는 오늘날의 증류에 대한 이해를 정의하고 있으며, 각기 다른 문제를 해결하며 동일한 아이디어를 발명한 세 개의 논문을 살펴보는 것이 도움이 된다.
Kevin Weil, AI의 과학적 발견 가속화에 대한 논의
Kevin Weil은 Speedrun에서 AI의 미래, 과학적 발견, 스타트업 구축에 대해 논의했다. 그는 AI 모델이 기존 인간 지식의 경계를 넘는 문제를 해결하기 시작하고 있으며, 추론, 코딩, 자율 연구의 발전이 수학에서 의학에 이르기까지 다양한 분야를 재편할 수 있다고 설명했다. 또한, AI의 현재 물결이 완전히 새로운 기업 카테고리를 창출할 수 있는 이유와 AI 기능이 전례 없는 속도로 향상되는 세계에서 창립자들이 이해해야 할 점을 공유했다.
Marc Andreessen이 말하는 AI와 기술 발전
Marc Andreessen은 인공지능, 기술 발전, 경제 성장, 인류의 미래에 대해 논의하며, 현대 AI 시스템의 작동 방식과 대형 언어 모델이 이전의 인공지능 비전과 어떻게 다른지를 설명한다. 그는 AI가 인간의 능력을 확장할 것이라고 믿으며, 기술 혁신이 기회를 창출하는 방식에 대한 오해가 많은 두려움의 근원이라고 주장한다. 이 대화는 AI, 자동화, 생산성, 사이버 보안, 경제 성장, 창의성, 기술적 혼란의 역사적 패턴을 포함한다.