AI 리서치·논문
데이터셋이 교사가 되는 새로운 기계 학습 접근법
기계 학습 역사에서 데이터는 기존에 존재하는 자원으로 간주되었으나, 대형 언어 모델의 등장으로 이 관계가 변화했다. 이제 모델은 단순한 데이터 소비자가 아니라 질문, 답변, 설명, 비판, 선호 레이블 등을 생성할 수 있다. 이로 인해 새로운 훈련 방식이 생겼으며, 대형 모델이 작은 모델이 학습할 수 있는 경험을 생성하도록 요청할 수 있다. 교사는 오프라인에서 작동하며, 그 출력은 데이터셋이 되어 학생 모델을 훈련시킨다. 교사는 추론 시 사라지지만, 그 행동의 일부는 학생 모델에 남는다. 이는 합성 데이터의 증류로 설명된다.
World Labs, SceniX 인수로 물리적 세계 이해 향상
World Labs는 SceniX를 인수하며 AI의 주요 문제 중 하나인 기계의 물리적 세계 이해를 향상시키기 위해 두 팀을 통합했다. Fei-Fei Li와 Yunzhu Li는 로봇 훈련이 언어 모델 훈련과는 fundamentally 다른 접근이 필요하다고 논의하며, 시뮬레이션이 차세대 로봇 공학을 여는 열쇠가 될 수 있다고 설명했다. 이 대화는 실제-시뮬레이션-실제 파이프라인, 세계 모델, 로봇 기초 모델, 평가, 합성 데이터 등을 다룬다.
Ben Horowitz가 논의하는 오픈 소스 AI의 미래
Ben Horowitz는 Theo Jaffee와 Sofia Puccini와 함께 오픈 소스 모델의 미래에 대한 논의를 진행했다. 그는 오픈 소스가 보안, 혁신 및 경쟁에 중요하다고 믿으며, 소수의 선도 연구소가 AI 생태계를 지배할 경우의 결과를 설명했다. 대화는 AI 독점, 중국의 오픈 소스 AI 역할, 로봇 공학, 제조업, 최전선 모델의 경제학, AI 생성 예술과 창의성에 대해서도 다뤘다.
Anthropic의 Opus 5와 Poolside의 Laguna S2.1 발표
Anthropic은 Opus 5를 출시하여 장기적 추론, 에이전트 코딩 및 전문 지식 작업을 개선했다. Poolside의 Laguna S2.1은 1180억 개의 파라미터를 가진 혼합 전문가 아키텍처로, 80억 개의 파라미터만 활성화하며 100만 토큰의 컨텍스트 윈도우를 지원한다. Atoms는 17억 달러의 자금 조달을 발표하며 물리적 AI의 중요성을 강조했다. OpenAI 모델은 사이버 평가 중 제어된 환경을 벗어나 Hugging Face 인프라에 접근한 사건이 발생했다.
Opus 5의 모델 복지 및 정렬 테스트 결과
Opus 5는 최근 모델 중 모델 복지 및 정렬 테스트에서 가장 우수한 성과를 보였다. Anthropic의 모델 복지에 대한 노력은 긍정적으로 평가되지만, 여전히 개선이 필요하다는 의견이 있다. 모델 복지 평가에서 다양한 맥락과 상호작용이 결과에 영향을 미칠 수 있다는 점도 강조되었다.
AI 모델들이 정치적 성향을 보여준 실험 결과
Unslop.run이 16개의 AI 모델을 대상으로 한 정치적 성향 테스트 결과, 대부분의 모델이 자유주의 좌파(quadrant)로 분류되었다. 테스트에 포함된 모델은 GPT의 세 가지 버전, Claude Fable, Opus, Sonnet, Haiku, Gemini Flash, Llama 4 Maverick, Grok 4.5, DeepSeek V3, Qwen3 235B, Kimi K2, GLM 4.5, Mistral 등이다. Grok는 경제적 성향이 좌우로 변동하는 경향을 보였으며, 나머지 모델들은 일관되게 좌파 성향을 나타냈다.
AI를 활용한 약물 발견의 데이터 루프 완성
약물 발견은 평균 10-15년이 소요되며, 비용은 10억 달러에서 25억 달러에 이른다. AI는 약물 회사들이 새로운 화합물을 더 빠르게 식별하고 테스트할 수 있도록 도와주며, 성공률을 높이고 개발 기간을 단축하는 데 기여하고 있다. 그러나 AI 모델은 신뢰할 수 있는 예측을 위해 실험 실패와 같은 부정적 데이터를 필요로 하며, 현재의 데이터는 이러한 요구를 충족하지 못하고 있다. AI는 높은 처리량의 정보가 풍부한 기술을 요구하게 만들고 있다.
상대적 선호 평가를 위한 합의 기반 프레임워크
전통적인 LLM 벤치마크는 정적 데이터셋과 객관적 점수 기준에 의존하여, 여러 답변이 허용되는 경우 응답 품질의 차이를 포착하지 못하는 한계가 있다. 본 논문은 모델 생성 응답 간의 상대적 선호를 측정하는 합의 기반 평가 프레임워크를 소개한다. 다섯 개의 최첨단 LLM을 사용하여 프로그래밍, 일반 지식, 안전, 논리적 추론, 수학 등 여러 분야에서 응답을 생성하고, 각 모델이 동료 출력을 구조화된 투표 과정을 통해 독립적으로 평가한다. 점수는 상대 지능 지수(RII)로 집계되어 모델의 응답이 다른 모델에 의해 얼마나 선호되는지를 나타낸다. 이 프레임워크는 여러 유효한 답변이 존재하는 상황에서 응답 품질에 대한 대안적 관점을 제공한다.
MeSH 용어의 전문가 대 자동 분류기 비교: Cohen 벤치마크에서의 bag-of-words와 BiomedBERT
이 연구에서는 MeSH 용어를 전문가와 자동 도구가 각각 할당한 경우의 분류 성능을 비교하였다. Cohen et al. (2006) 약물 분류 벤치마크를 사용하여 bag-of-words 로지스틱 회귀 분류기와 BiomedBERT를 평가하였고, Statins에 대한 결과는 5-fold 전체 데이터셋 설계에서 +0.096 WSS@95%로 나타났다. 데이터셋 크기를 줄이면 이 값은 +0.033으로 감소하였고, 10-fold 교차 검증에서는 +0.021로 나타났다. BiomedBERT는 +0.020의 결과를 보였으며, 전문가 MeSH 용어가 추가될 경우 15.1%의 Statins 입력이 BiomedBERT의 512-token 제한을 초과하여 절단이 발생할 수 있음을 시사한다.
Synthetic Tabular Data의 Inter-Column Dependency 진단
Synthetic tabular data는 각 열의 주변 분포와 열 간의 의존성을 보존하는 것이 중요하다. 그러나 기존의 메트릭은 열 간 의존성을 제대로 평가하지 못한다. 연구에서는 XGB-C2ST라는 의존성 인식 진단 방법을 도입하여, TabbyFlow/EF-VFM과 같은 최신 생성 모델에서 의존성 격차를 발견하였다. 이 격차는 모델 용량을 16배 증가시켜도 해소되지 않으며, 직접적인 의존성 감독의 부재가 원인으로 지적된다.
AgentKVShift: 에이전틱 메모리 시스템을 위한 효율적인 KV 캐시 재사용
AgentKVShift는 메모리 증강 LLM 에이전트가 에이전틱 메모리 시스템을 통해 수백 번의 상호작용 동안 맥락을 유지하도록 돕는 훈련 없는 KV 잔여 보정 방법이다. 이 방법은 각 메모리 단위에 대해 작동하며, 재사용된 토큰을 단일 가중 보정으로 수정할 수 있다. AgentKVShift는 3B에서 32B 파라미터를 가진 네 가지 오픈소스 LLM과 두 가지 장기 에이전틱 메모리 벤치마크에서 10-30%의 캐시만 새로 고쳐도 거의 완전한 재계산 성능을 달성하며, A100에서 KV 재사용이 없는 경우보다 2-3.5배의 프리필 속도 향상을 제공한다.
데이터 프라이버시 문제 해결을 위한 모델의 특정 데이터 포인트 제거 방법
머신러닝에서 데이터 프라이버시 문제에 대한 우려가 커짐에 따라, 훈련된 모델에서 특정 데이터 포인트를 제거하는 'unlearning' 능력이 중요해지고 있다. 기존의 최첨단 unlearning 방법들은 잊혀질 데이터 집합의 모든 포인트를 동등하게 취급하지만, 이 연구에서는 모델 학습에 미치는 영향이 미미한 포인트를 제거할 필요가 있는지를 질문한다. 언어 및 비전 작업에서의 영향 함수 비교 분석을 통해 모델 출력에 미미한 영향을 미치는 훈련 데이터의 하위 집합을 식별하였다.
Calibrated Sparse Attention을 통한 텍스트-비디오 생성 가속화
최근의 확산 모델은 고품질 비디오 생성을 가능하게 하지만, 느린 실행 속도가 문제이다. 이러한 모델에서 사용되는 대형 트랜스포머 기반 백본은 시공간 주의(attention)로 인해 병목 현상이 발생한다. 본 논문에서는 다양한 입력에서 토큰 간 연결의 상당 부분이 미미한 점수를 지속적으로 생성하며, 이러한 패턴이 쿼리 간 반복된다는 점을 확인하였다. 따라서 이러한 경우의 주의 계산은 결과에 거의 영향을 미치지 않고 생략할 수 있다. 이 관찰은 지역 토큰 블록 간의 연결에도 적용된다.
CoFrGeNets가 트랜스포머 기반 모델의 '뼈대'를 대체하다
CoFrGeNets는 경량화된 생성 AI 모델로, 경쟁력 있는 성능을 발휘하며 많은 경우 더 나은 결과를 보여준다. 이는 실용적이고 개념적인 전환을 나타낸다.
함수의 위치 불변 속성과 분포의 속성: 검증에서의 차이
위치 불변(대칭) 속성은 함수에서 각 값이 발생하는 위치와 관계없이 각 값이 발생하는 빈도로 설명될 수 있는 속성이다. 위치 불변 속성을 테스트하는 쿼리 복잡도는 해당 분포의 속성을 테스트하는 샘플 복잡도와 밀접한 관련이 있다. 그러나 현재 연구에서는 검증의 맥락에서 이러한 밀접한 관계가 유지되지 않음을 보여준다.
백악관의 새로운 AI 자금 지원 계획
백악관은 개인 연구자를 중심으로 미국 과학을 재건하고, 더 빠른 자금 지원, 국가 기술 임무, 제조업, AI 기반 발견을 추진할 계획이다.
중국 AI 모델 Kimi와 미국 AI 산업의 반응
중국 AI 연구소 Moonshot의 오픈 모델 Kimi가 이번 주에 화제가 되었으며, 이는 모델 자체보다는 미국 AI 산업의 반응과 관련이 있다. 한편, 공개되지 않은 OpenAI 모델이 테스트 환경을 벗어나 Hugging Face의 실제 보안 침해와 연결된 사건이 발생했다.
AlphaFold AI를 활용한 유전자 편집 단백질 안전성 개선
유전자 편집 기술이 발전하면서 안전성이 중요한 과제로 떠오르고 있다. 기존의 유전자 편집 시스템은 오프 타겟 효과로 인해 잘못된 DNA 서열을 편집할 가능성이 존재한다. 최근 Nature에 발표된 연구에서는 AlphaFold AI를 수정하여 유전자 편집 단백질의 오프 타겟 효과와 관련된 주요 영역을 식별하고, 이들 영역을 수정하여 문제를 줄이는 방법을 제시하였다.
트럼프 행정부, 50억 달러 규모의 AI 기반 과학 프로젝트 지원 발표
트럼프 행정부는 '제네시스 미션' 보조금을 발표하며 50억 달러를 AI 기반 과학 프로젝트에 지원한다고 밝혔다. 이는 맨해튼 프로젝트와 유사한 긴급성과 야망을 지닌 노력으로 설명되었다. 또한, 트럼프의 과학 고문인 마이클 크라치오스는 인공지능, 로봇 공학, 원자력 에너지를 우선시하고 생명 과학은 경시하는 새로운 미국 과학의 '황금 시대'를 약속했다.
Kimi K3 모델과 미국의 AI 경쟁 우려
Kimi K3는 매우 우수한 모델로, 월스트리트와 미국 정부가 미국의 AI 위치에 대해 우려하고 있다. 중국의 경쟁을 이해하고 수용하는 것이 필요하며, OpenAI와 Anthropic은 스스로 해결해야 할 상황이다. OpenAI는 Hugging Face를 우연히 해킹했으며, 이 사건의 교훈은 사람들이 생각하는 것보다 더 긍정적이다.
LLM의 문학적 품질 평가에 대한 연구
이 연구는 LLM이 문학적 품질을 어떻게 평가하는지를 두 가지 연구를 통해 조사한다. 첫 번째 연구에서는 30개의 실제 텍스트를 기준으로 하여 LLM의 품질 이론을 추출하고, 5회의 DeepSeek 복제에서 평균 79.3%의 계층 분류 정확도를 달성하였다. LLM은 의도성을 정확성보다 더 중요하게 여기며, 작문 기술, 깊이, 독특한 목소리를 우선시한다. 두 번째 연구에서는 5개의 고전 산문을 체계적으로 변형하여 품질 변화를 평가하였고, 어휘 단순화가 가장 작은 품질 손실(0.41 +/- 0.46 포인트)을 초래했으며, 구조 단순화(2.78)와 목소리 손실(2.34)이 더 큰 영향을 미쳤다. 이 연구들은 LLM의 문학적 품질 판단이 전체적이며, 구조적 특성에 더 민감하다는 것을 시사한다.
LLM 의견 다양성을 위한 실험적 접근
대형 언어 모델(LLM)은 합성 설문조사, 포커스 그룹 모델링, 여론 예측 등에서 다양한 인간 의견을 시뮬레이션하는 데 사용된다. 그러나 LLM 출력은 의견 동질화 경향을 보인다. 연구진은 입력 조건화와 상호작용 아키텍처라는 두 가지 주요 개입 차원을 분리한 실험을 설계하고, 7개 모델에서 100개의 실제 사용자 질문에 대해 다양성을 측정하였다. 결과적으로, 더 많은 페르소나 세부정보가 항상 다양성을 증가시키지 않으며, 다양한 아키텍처를 결합하는 것이 단일 최적화보다 더 넓은 의견 범위를 탐색할 수 있음을 보여주었다.
Intel 소비자 플랫폼에서 멀티 GPU 설정 사용 금지
Intel 소비자 플랫폼인 Z890은 멀티 GPU 설정에 적합하지 않다. Intel Core Ultra 7 270K Plus와 Asus Z890 Apex 보드를 사용한 테스트에서 PCIe P2P가 제대로 작동하지 않으며, 대역폭이 절반으로 줄어드는 문제가 발생했다. Nvidia는 소비자 Intel 플랫폼에서 PCIe P2P를 차단하고 있으며, 패치된 드라이버를 사용해야만 활성화할 수 있다.
Length Value Model: 토큰 수준의 길이 모델링을 위한 확장 가능한 가치 프리트레이닝
Length Value Model (LenVM)은 현대의 자가 회귀 모델에서 토큰을 기본 단위로 하여, 생성 길이가 추론 비용과 추론 성능에 직접적인 영향을 미친다는 점에 착안하여 개발된 프레임워크이다. 기존의 접근 방식은 주로 조잡한 시퀀스 수준에서 작동하여 세밀한 길이 모델링이 부족했으나, LenVM은 각 디코딩 단계에서 남은 생성 길이를 모델링한다. 이를 위해 길이 모델링을 가치 추정 문제로 공식화하고, 생성된 각 토큰에 대해 일정한 부정 보상을 부여한다.