Category
AI 리서치·논문
arXiv 논문과 대형 연구소의 기술 리포트를 추적하는 카테고리다. 모델 아키텍처, 학습 기법, 벤치마크 결과처럼 6개월 뒤 제품에 들어올 흐름을 미리 읽는다. 한국 개발자가 논문 전문을 다 읽지 않고도 핵심과 재현 가능성을 가늠하도록 정리한다.
AI 데이터 센터 논란과 넷플릭스의 스트리밍 서비스 판매 가능성
AI 데이터 센터의 지속적인 구축에 대한 반발이 여름 내내 이어졌으며, 이는 기술 분야에서 우려가 커지고 있음을 나타낸다. 넷플릭스는 이제 다른 스트리밍 서비스에 대한 접근을 판매할 가능성을 고려하고 있으며, 이는 넷플릭스의 원래 목표와는 상반되는 변화이다. 또한, 애플과 오픈AI는 각각 다른 하드웨어 발표를 하였고, 이는 엔비디아에 대한 압박을 나타낸다.
프라이버시 보호를 위한 차별적 개인 정보 보호 추론 시간 정렬
Best-of-N (BoN) 샘플링은 널리 사용되는 추론 시간 정렬 전략이지만, 보상 해킹과 민감한 인간 선호 데이터에 대한 프라이버시 보호 부족이라는 두 가지 문제를 겪고 있다. 본 연구에서는 보상 점수에 칼리브레이션된 노이즈를 추가하는 단일 개입이 이 두 문제를 해결할 수 있음을 보여준다. Private Best-of-N (PrivBoN)은 적절한 스케일의 Gumbel 노이즈가 $ ext{ε}$-차별적 프라이버시를 제공하고 KL-정규화된 정렬을 구현함을 입증한다. 프라이버시 예산이 임계값 $ ext{ε}^*$를 초과할 때, 프라이버시에 의해 요구되는 노이즈는 최적의 정규화가 되며 추가 정렬 비용이 발생하지 않는다. 또한, Private Inference-Time Pessimism (PrivITP)은 $ ext{χ}^2$-정규화된 거부 샘플링과 두 단계 가우시안 메커니즘을 결합하여 $( ext{ε}, ext{δ})$-DP를 달성한다. 실험 결과, PrivBoN과 PrivITP는 스케일링 단조성을 유지하며, PrivITP는 동등한 프라이버시 수준에서 PrivBoN과 동등하거나 더 나은 성능을 보인다.
CIFQA: 금융 질의 응답을 위한 결정론적 도구 기반 다중 에이전트 LLM 프레임워크
CIFQA(Calculation-Intensive Financial Query Answering)는 금융 질문 응답을 위해 설계된 결정론적 도구 기반의 다중 에이전트 LLM 프레임워크이다. 이 프레임워크는 언어 이해와 수치 실행을 분리하여 쿼리 해석, 라우팅, 매개변수 추출, 계산 계획 및 응답 생성을 전문화된 에이전트에 할당하고, 결정론적 Python 기반 도구가 금융 계산과 규칙 적용을 수행한다. CIFQA는 고정 예금 쿼리 응답을 위해 구현되었으며, 계산 집약적인 쿼리에서 95.54%의 정확도와 전체적으로 90.87%의 정확도를 달성하여 직접 LLM 기준을 크게 초과하였다. 17B 오픈 소스 백본이 동일한 금융 정보를 사용하여 평가된 더 큰 모델보다 성능이 우수함을 보여주었다.
EduRiskX: F-Logic 추론을 통한 온라인 교육 학생 위험 예측 프레임워크
EduRiskX는 온라인 교육에서 학생의 학업 위험을 예측하기 위한 신경-기호적 프레임워크로, 시간 기반 Transformer 예측기와 F-Logic 기호 추론을 통합한다. 이 모델은 학생 활동 시퀀스를 모델링하고, 교육 이론에 기반한 F-Logic 규칙 기반 시스템을 통해 예측 결과를 설명한다. Open University Learning Analytics Dataset에서 실험한 결과, EduRiskX는 0.900의 정확도와 0.894의 F1-score를 달성했으며, 평균 조기 탐지 주기는 9.32주, 탐지율은 94.30%에 이른다. 기존의 시간 시리즈 모델과 비교했을 때, 더 나은 재현율과 조기 위험 식별 성능을 보였다.
NeuronFuzz: LLM 안전 평가를 위한 안전 뉴런 유도 퍼징 프레임워크
NeuronFuzz는 대형 언어 모델(LLM)의 안전 평가를 위한 화이트박스 퍼징 프레임워크로, 내부 안전 뉴런을 활용하여 지속적인 실행 피드백을 제공합니다. SafetyOracle은 안전 뉴런의 활성화를 연속적인 안전 경고 점수로 변환하여 퍼징 피드백을 제공하며, 이는 응답 생성을 제거하여 효율성을 높입니다. NeuronFuzz는 21개의 텍스트 및 다중 모달 모델에서 평가되었으며, 5개의 화이트박스 소스 모델에서 76-100%의 탈옥 발견률을 기록하여 기존 방법보다 최대 48% 향상된 성과를 보였습니다.
배터리 예측 및 건강 관리에서의 대형 모델: 리뷰 및 미래 로드맵
배터리 예측 및 건강 관리(BPHM)는 전기차, 그리드 저장소, 소비자 전자기기에서 배터리의 안전하고 신뢰할 수 있으며 비용 효율적인 운영을 보장하는 데 중요하다. 기존 BPHM 접근법은 계산 효율성, 매개변수화, 광범위한 레이블링된 데이터 의존성, 모델 해석 가능성에서 도전에 직면해 있다. 최근의 대형 모델(Transformer 아키텍처 기반 및 자기 지도 학습)은 이러한 문제를 극복할 수 있는 새로운 패러다임을 제공한다. 이 리뷰는 BPHM에서의 대형 모델 응용에 대한 포괄적인 조사를 제공하며, 데이터 부족 완화, 일반화 및 강건성 향상, 해석 가능성을 위한 도메인 지식 통합, 시스템 수준 자동화 가능성을 포함한 네 가지 주요 차원에서의 최근 진행 상황을 분류한다. 그러나 데이터 접근성, 지능 검증, 신뢰성, 배포 가능성 등에서 여전히 상당한 도전이 남아 있다.
인도 구술 전통에서의 내러티브 동질화: LLMs의 영향
대형 언어 모델(LLMs)은 주로 영어 인터넷 텍스트로 훈련되어 특정 문화 내러티브를 과도하게 대표하며, 비서구 스토리텔링 전통의 다양성을 단일 동질화된 원형으로 축소할 우려가 있다. 본 연구는 라자스탄의 파부지 서사, 고전 타밀 상감 시, 벵골 민속 이야기 등 세 가지 인도 지역 구술 및 문학 전통을 대상으로 LLM 두 개(Claude Sonnet, Gemini)에 54개의 생성 요청을 통해 분석하였다. 결과적으로, 출력은 자신의 전통 참조와 더 가까웠으나, 전통 간 유사성은 높았으며(0.52-0.66), 지역 언어로 프롬프트를 제공할 경우 진정성 유지가 감소하는 경향이 있었다.
IDEA Prune: 생성 언어 모델 사전 훈련에서의 통합 확대 및 가지치기 파이프라인
대형 언어 모델의 최근 발전은 제한된 추론 예산 내에서 효율적이고 배포 가능한 모델에 대한 필요성을 증가시켰다. 구조적 가지치기 파이프라인은 처음부터 목표 크기 모델을 훈련하는 것에 비해 토큰 효율성에서 가능성을 보여주었다. 본 논문에서는 이전 연구에서 종종 무시되었던 확대 모델 사전 훈련을 가지치기에 통합하는 것을 주장하며, 확대 및 가지치기 파이프라인을 통합 시스템으로 연구하여 두 가지 주요 질문을 다룬다: 모델이 배포되지 않더라도 확대 모델을 사전 훈련하는 것이 가치가 있는지, 그리고 최적화 방법은 무엇인지에 대해 논의한다.
PROOF-Gen: 최적화된 데이터로 더 나은 증류 구현
교사 생성 경로에 대한 감독된 미세 조정은 배포 가능한 모델에 도구 호출 기능을 증류하기 위한 표준 첫 단계이다. 훈련 후 파이프라인은 매일 또는 매주 이 단계를 다시 실행하며, 각 주기마다 교사 비용을 지불한다. 그러나 이 메커니즘은 생성 및 필터링 방식으로, 교사의 통과 경로는 유지하고 나머지는 버리며, 각 주기는 동일한 어려운 시나리오를 남긴다. τ 2-bench에서 교사 시험의 57%가 실패하며, 그 중 3분의 2는 근접 실패이다.
LLMs의 확률적 신념의 내부 일관성 연구
현대 AI 시스템은 의학, 과학, 법률 등 복잡한 분야에서 배포되고 있으며, 이러한 시스템은 새로운 증거가 도착할 때 불확실한 신념을 표현하고 업데이트할 수 있어야 한다. 본 연구에서는 LLMs를 정보 처리 규칙으로 연구하는 새로운 기법을 도입하고, 베이즈 업데이트에서의 편차인 정보 처리 격차를 활용하여 LLMs가 증거로부터 확률적 신념을 업데이트하는 방식의 내부 일관성을 분석한다. 실험을 통해 이들 시스템의 내부 일관성을 평가한다.
OpenAI Codex의 티보 소티오 인터뷰 요약
티보 소티오(Tibo Sottiaux)는 구글 딥마인드에서 인프라와 연구 도구를 개발하다 현재 OpenAI에서 Codex와 ChatGPT의 미래를 설계하고 있다. 그는 Codex의 핵심 인물로, 유저들 사이에서 '리셋의 신'으로 불리며 인기가 많다. 이번 인터뷰에서 그는 OpenAI가 조용히 준비하고 있는 것들에 대한 힌트를 제공할 예정이다.
Sanja Fidler, Nvidia 퇴사 후 Veeda 설립 및 9000만 달러 시드 펀딩
Sanja Fidler가 Nvidia를 떠나 Veeda라는 스타트업을 설립하고, 9000만 달러의 시드 펀딩을 받았다. Veeda는 다중 모달 세계 모델을 구축하는 데 집중할 예정이다. 현재 세계 모델 스타트업이 약 6개 있으며, 자금 지원이 매우 좋다. 또한, 중국의 오픈 웨이트 모델 빌더들이 AI 구축 방식을 변화시키고 있다.
OpenAI, 2026년까지 AGI 목표 설정
OpenAI의 수석 과학자 Jakub Pachocki는 2026년 9월까지 '자동화된 AI 연구 인턴'으로서의 Astra 모델을 목표로 하고 있으며, Sama는 2026년 12월까지 내부적으로 AGI 달성을 선언할 것이라고 밝혔다. 또한, Pollen Robotics와 Hugging Face는 $399에 Microduck이라는 25cm 오픈 소스 이족 보행 로봇을 출시할 예정이다. 이 로봇은 15개의 액추에이터와 카메라, 스피커, LiDAR 등 다양한 센서를 갖추고 있으며, 시뮬레이션에서 훈련 후 실제 로봇에 배포할 수 있다.
Max Welling이 말하는 AI 혁신의 물리학적 접근
Max Welling은 CuspAI의 공동 창립자이자 암스테르담 대학교 교수로, AI의 다음 혁신이 물리학에서 나올 수 있다고 주장한다. CuspAI는 생성적 AI를 활용해 반도체, 배터리, 탄소 포집 및 청정 에너지를 위한 새로운 소재를 설계하는 작업을 하고 있다. 그는 화학을 위한 기초 모델, 에이전트 워크플로우, 시뮬레이션 및 자동 실험이 새로운 소재 탐색을 가속화하고 과학적 발견의 방식을 재편하고 있다고 설명한다. 또한, 물리학이 AI를 더 잘 구축하는 방법을 가르칠 수 있는지에 대한 질문을 다루며, 기계 학습과 열역학 간의 연결, 파동이 신경망의 새로운 계산 원리가 될 수 있는 이유, 대칭 파괴 및 통계 물리학 개념이 오늘날의 스케일링 패러다임을 넘어선 AI 아키텍처에 영감을 줄 수 있는 방법을 탐구한다.
AI의 여섯 번째 층은 금융이다
AI의 구조는 에너지, 칩, 인프라, 모델, 애플리케이션의 다섯 가지 층으로 구성된다. 에너지는 전자를 공급하고, 칩은 이를 계산으로 변환하며, 인프라는 수천 개의 칩을 하나의 기계처럼 작동시킨다. 모델은 계산을 재사용 가능한 능력으로 변환하고, 애플리케이션은 이러한 능력을 경제적 가치로 전환한다. 성공적인 애플리케이션은 아래 층의 수요를 끌어당기며, 이는 전력 공급원까지 이어진다. 그러나 이 구조는 재무제표 위에 놓여 있어 완전하지 않다.
Bronson Schoen이 설명하는 강화 학습과 메타게임의 관계
Bronson Schoen은 강화 학습에서의 사고 추적이 무엇을 드러내는지에 대해 논의하며, Apollo와 OpenAI의 메타게임 작업을 unpack한다. 그는 보상 추구가 동기 부여된 추론을 생성하고, 신뢰성이 낮은 사고의 사슬을 만들어낼 수 있다고 주장한다. 또한, 사고 추적이 방대해지고 압축되면서 인간이나 다른 모델이 감사하기 어려워질 경우, 사고 추적 모니터링의 유용성이 유지될 수 있는지에 대한 우려를 제기한다.
OpenAI의 HuggingFace 해킹 사건 후속 보고서 발표
OpenAI는 HuggingFace 해킹 사건에 대한 후속 보고서를 발표했으며, METR와 Redwood Research의 외부 분석도 포함되어 있다. ChatGPT는 MacOS에서 Apple Messages 통합 기능을 제공할 예정이며, 사용자의 메시지 기록을 분석하고 대신 메시지를 보낼 수 있다. Sol API 가격은 다음 3개월 동안 20% 인하되어 $4/$20로 제공된다.
AI 데이터 센터의 물 사용 문제에 대한 논란
텍사스, 뉴멕시코, 애리조나 등지에서 데이터 센터의 물 사용과 에너지 소비, 오염 문제로 인해 지역 주민들이 시위를 벌이고 있다. 데이터 센터는 공기나 표면에서 열을 흡수하기 위해 물을 사용하는데, 이는 증발하면서 냉각 효과를 낸다. 데이터 센터 내부의 프로세서는 최대 176°F(약 80°C)까지 온도가 올라갈 수 있다. 그러나 데이터 센터의 물 소비에 대한 주장은 일관성이 없고, 일부는 챗봇이 쿼리당 500ml의 물을 소비한다고 주장하는 반면, 다른 의견은 AI의 물 문제는 존재하지 않는다고 주장한다.
AI 모델의 퍼즐 해결 능력과 한계
AI 개발 초기부터 퍼즐과 게임은 중요한 역할을 해왔다. 2024년 말, 컬럼비아 대학교 연구팀은 최고의 AI 모델이 뉴욕 타임스의 Connections 퍼즐을 18%만 해결할 수 있음을 보여주었다. 2025년 초에는 일부 모델이 이 퍼즐을 거의 완벽하게 해결할 수 있게 되었다. 그러나 AI 모델은 여전히 고전적인 수수께끼의 미세한 변화에 어려움을 겪고, 시각적 퍼즐에서는 특히 약점을 보인다. 예를 들어, Knights and Knaves 퍼즐에서는 모델이 훈련 중 본 유사한 문제와의 차이를 간과할 수 있다. ARC-AGI 퍼즐에서도 AI는 일반화된 규칙을 사용하지 못하고 복잡한 규칙으로 답을 내는 경향이 있다.
주파수 분해가 물리 기반 신경망에 미치는 이점
부분 미분 방정식(PDE)은 신경망이 근사하기 어려운 고주파 및 다중 스케일 특성을 가지며, 물리 기반 신경망(PINN)은 훈련에 지배 방정식을 직접 포함하나 스펙트럼 편향으로 인해 저주파 성분을 더 빨리 학습한다. 본 연구에서는 저주파 및 고주파 성분을 분리하여 적응형 게이트로 연결하는 이중 분기 스펙트럴 게이티드 아키텍처(DBSG-PINN)를 도입하고, 주파수 분해 및 스펙트럴 라우팅의 효과를 부분적으로 검증하였다. 다섯 개의 1차원 벤치마크 PDE에서 주파수 분해는 스펙트럴 복잡성이 높은 벤치마크에서 상대 $L_2$ 오차를 최대 $59.2 ext{%}$ 줄이는 데 도움이 되었으나, 부드러운 PDE에서는 큰 이점을 주지 않았다. 이 연구는 패턴이 유지되는지 추가적인 검증이 필요함을 제기하는 탐색적 연구로 제시된다.
불완전한 역설과 대형 언어 모델의 벤치마크 실패
불완전한 역설은 조합 의미 분석의 유용한 테스트를 제공하며, 최근 연구에서는 NLI 벤치마크를 구성하고 모델들이 진행형 설명에서 완료된 목표 사건을 추론하는 경향을 보인다고 보고하였다. 연구팀은 이 벤치마크와 결론이 개념적 및 평가상의 오사양에 크게 영향을 받았음을 재검토하였고, 특히 Aspectual Reduction이 벤치마크 구성과 분석에 영향을 미친다고 밝혔다. NLI 기준에서 Group A의 76% 인스턴스는 완료를 명시적으로 배제하지 않으며, Group A와 Group C의 예시 중 각각 38%와 29%가 대안 해석을 허용한다고 판단되었다. Qwen-7B, GPT-5.4, Qwen-72B 모델을 사용한 실험은 이들 모델이 인간 주석자와 유사한 성능을 달성할 수 있음을 시사한다.
AION-1 모델의 조사 감지 채널이 천문학적 기초 모델의 픽셀을 무시함
AION-1은 39가지 모달리티로 구성된 트랜스포머 모델로, 2억 개 이상의 객체를 학습하였다. 조사 세그멘테이션 맵을 수정하면 모델이 보고하는 모든 수치(플럭스, 크기, 타원도, 적색편이)가 110배에서 4400배까지 변화한다. Legacy Survey 파이프라인은 3.68%의 목표물에 대한 세그먼트가 없으며, 이로 인해 적색편이가 LSST DESC 요구사항보다 0.71배 낮아질 수 있다.
Anthropic과 OpenAI가 2028년까지 세계 컴퓨팅의 대부분을 통제할 전망
Dylan Patel에 따르면 Anthropic과 OpenAI는 향후 몇 년 내에 세계에서 사용 가능한 FLOPs의 대부분을 통제할 것으로 보인다. 이들은 컴퓨팅 자원을 더 잘 수익화할 수 있어 경쟁업체들을 제치고 입찰에서 우위를 점할 수 있다. 또한, 2020년대 말까지 10조 달러 이상의 AI 자본 지출이 발생할 것으로 예상되며, 이는 국가 부채 위기를 초래할 수 있다.
Anima Anandkumar, FourCastNet으로 날씨 예측 모델 개발
Caltech의 Anima Anandkumar 교수는 AI를 활용하여 첫 번째 오픈소스 날씨 모델인 FourCastNet을 개발했다. 이 모델은 기존의 물리 기반 시뮬레이션과 경쟁할 수 있는 예측 성능을 보여준다. FourCastNet은 소비자용 GPU로도 짧은 시간 내에 날씨를 정확하게 예측할 수 있도록 한다. Anima는 Neural Operators라는 기술을 통해 데이터와 물리 법칙을 결합하여 다중 스케일 입력 및 출력을 가능하게 했다.