AI 리서치·논문
Qwen3.6-35B-A3B 모델의 깊이 인식 민감도 분석
Mixture-of-Experts (MoE) 아키텍처는 대형 언어 모델의 계산 효율성을 유지하면서 스파스 활성화를 통해 확장된다. 본 논문은 Qwen3.6-35B-A3B 모델(40 MoE 레이어, 레이어당 256 전문가, top-8 라우팅)에 대한 체계적인 레이어별 민감도 분석을 수행하였다. 초기 레이어(0-9)와 중간 레이어(10-29)는 전문가 마스킹에 매우 민감한 반면, 후반 레이어(30-39) 및 특히 매우 후반 레이어(35-39)는 저강도 전문가의 공격적인 마스킹을 견딜 수 있다. 30%의 전 레이어 마스킹은 300 프롬프트에서 150/300 Good+Similar 출력을 유지하는 반면, 후반 중심 정책은 249-255/300을 유지하며 640-1,145 전문가를 마스킹한다. 500 프롬프트 검증에서 35-39 레이어에서 50% 마스킹을 적용한 좁은 정책이 419/500 Good+Similar 출력을 유지하며 10,240 전문가 중 640만 마스킹한다는 결과를 보였다.
RubricForge: 에이전트 평가에서 과도한 신뢰를 줄이는 보상 없는 평가 기준 유도
RubricForge는 소규모의 진실 레이블이 있는 경로 집합에서 에이전트 평가 기준의 텍스트를 유도하여 실제 결과에 기반을 두고, 이를 통해 환경 보상과의 일치를 극대화하도록 진화된 평가 기준을 제공한다. 이 방법은 7B 모델을 사용하여 tau-bench와 WebShop에서 평가를 수행했으며, 실패한 경로에 대한 과도한 신뢰를 약 절반으로 줄였다. 예를 들어, tau-bench에서의 잘못된 통과 비율은 0.115로, 기존의 G-Eval보다 개선되었다.
KRPRVFL 모델: 강인한 이중 모델 협업 랜덤 벡터 기능 링크 네트워크
랜덤 벡터 기능 링크(RVFL) 네트워크는 경량화되고 빠른 신경망 모델로, 랜덤화된 은닉층 가중치와 직접적인 입력-출력 연결을 통해 효율적인 훈련과 강한 일반화를 제공합니다. 그러나 기존 RVFL 모델은 노이즈가 있는 레이블, 이상치 및 불균형 데이터에 민감하여 실제 응용에서 성능이 제한됩니다. 이를 해결하기 위해, KRPRVFL 모델은 RVFL의 계산 효율성과 강인한 KRP 기준을 통합하여, KRP 기반 손실로 표준 최소 제곱 목표를 대체하여 훈련 중 손상된 샘플의 영향을 줄입니다. 또한 협업 학습 메커니즘을 도입하여 모델 구성 요소 간의 적응형 상호작용을 가능하게 하여 복잡하고 노이즈가 많은 환경에서 강인성을 더욱 향상시킵니다. UCI 및 KEEL 벤치마크 데이터셋에서의 실험 결과, KRPRVFL은 정확도와 강인성에서 기준 모델을 지속적으로 초월하는 성능을 보였습니다.
불확실성 샘플링에서 오류 노출 및 위치 테스트
이 연구는 불확실성 샘플링이 더 많은 손상된 레이블을 획득하는지 또는 어려운 영역에서의 오류가 특히 해로운지를 테스트한다. 세 가지 공개 이진 표 데이터셋에서 마진 기반 불확실성 샘플링과 무작위 샘플링을 비교하였으며, 100개의 쌍 시드, 0에서 0.30까지의 아홉 가지 예상 노이즈 비율, 20에서 120까지의 주석 예산을 사용하였다. 깨끗한 레이블 하에서 불확실성 샘플링은 모든 데이터셋에서 학습 곡선 아래의 정규화된 균형 정확도를 1.09에서 1.77 포인트 향상시켰다. 그러나 난이도 의존 노이즈는 여섯 개의 비율에서 이 이점을 감소시켰다. 불확실성 샘플링은 레이블 효율적이었지만, 그 강건성은 데이터셋, 예산, 노이즈 구조 및 평가 메트릭에 따라 달라졌다.
Jais 2: 아랍어 중심의 대형 언어 모델 패밀리
Jais 2는 MBZUAI, Cerebras, Inception이 공동 개발한 아랍어 중심의 대형 언어 모델 패밀리로, 70B 파라미터로 훈련된 가장 큰 오픈 아랍어 중심 LLM을 포함하고 있다. 이 모델은 아랍어 및 문화적 기준 벤치마크에서 강력한 성능을 발휘하며, 8B 파라미터 변형도 경쟁력을 갖춘다. HuggingFace에서 상업적으로 허용된 라이센스 하에 모델이 공개되며, Jais 2 70B는 웹, iOS, Android에서 채팅 앱으로도 제공된다.
Self-Explainable Latent Reasoning (SELR) 프레임워크 소개
Latent reasoning은 텍스트 기반 Chain-of-Thought (CoT) 대신 효율성을 높이는 방법으로 부각되고 있다. 그러나 이러한 압축된 추론은 해석 가능성을 저해한다. 본 연구에서는 효율적이고 본질적으로 설명 가능한 latent reasoning을 수행하는 Self-Explainable Latent Reasoning (SELR) 프레임워크를 제안한다. SELR은 정확한 최종 답변을 생성하기 위한 Answer Loss와 인간이 이해할 수 있는 추론 단계로 디코딩하기 위한 CoT Loss를 동시에 최적화하는 다중 작업 훈련 목표를 가지고 있다. SELR은 Large Language Models (LLMs)와 Vision-Language Models (VLMs)에서 우수한 토큰 효율성과 정확성을 입증하며, 외부 디코더 없이 자체적으로 설명 가능성을 제공한다.
Activation-Prune-Merge를 통한 모델 스케일 간 지식 전이
Heterogeneous model fusion은 서로 다른 작업, 초기화, 아키텍처 또는 스케일을 가진 모델을 결합하는 방법을 연구한다. Activation-Prune-Merge(APM)라는 프레임워크를 통해, 큰 모델을 작은 아키텍처로 잘라내고 이를 통해 수신 모델의 성능을 향상시킬 수 있음을 보여준다. APM은 16개의 벤치마크에서 원래 3B 수신 모델의 평균 정확도를 55.5%에서 60.6%로 개선했으며, RTE 정확도는 64.3%에서 82.3%, QNLI는 52.3%에서 65.7%, BoolQ는 70.8%에서 79.2%로 증가했다.
언어 서버가 코딩 에이전트의 토큰을 절약하는가?
코딩 에이전트는 대부분의 컨텍스트 예산을 검색에 사용하며, 언어 서버 프로토콜(LSP)을 통한 의미 검색은 정확하지만 실행 중인 서버가 필요하고 심볼당 왕복 비용이 발생한다. 연구에 따르면, LSP는 토큰 효율성이 낮고, 심볼 이름 로컬라이제이션에서는 LSP가 토큰을 더 소모하며, 참조 완전성에서는 정확성을 제공하지만 토큰 절약은 이루어지지 않는다. 도구 선택은 작업에 따라 달라지며, 모델은 로컬라이제이션에서는 grep을 기본으로 사용하고 참조 작업에서는 LSP를 반 정도 사용한다.
AI가 생명체 설계도를 작성하고 보안 문제를 드러내다
스탠퍼드 대학교와 아크 연구소 연구진이 발표한 결과에 따르면, 유전체 AI 모델 '에보(Evo)'가 9조 개의 뉴클레오타이드 데이터를 학습해 새로운 바이러스 16종을 설계했다. 이 성과는 AI가 완전히 새로운 생명 구조를 창조할 수 있음을 보여준다. 또한, LLM 서비스 기업들이 모델 내부의 사고 과정을 '블랙박스'로 간주하던 중, 역추론 기술과 암호화된 블록의 취약점이 드러나면서 보안 문제가 발생했다. 마지막으로, 스페이스X가 AI 코딩 도구 커서(Cursor)를 인수하여 차세대 모델 '그록(Grok) 4.6'을 공개했다.
AI 테스트에서 기준 설정의 중요성
1인 개발자가 AI를 활용해 QA 에이전트를 만들었으나, 기준을 명확히 설정하지 않아 테스트는 통과했지만 실제 버그가 발견되었다. 10여 년 전의 테스팅 자격증 문서를 활용해 기준을 재정립하고 AI의 테스팅 전략을 수정하여 문제를 해결했다. AI는 단순히 통과 여부만 체크했으며, 비즈니스 로직을 검증하지 못했다.
AI 추론의 복잡성: 단순한 요청 이상의 과정
AI 모델은 훈련 후 비동기적으로 요청을 처리하며, 사용자 요청은 길이가 다양하다. 현대의 추론 시스템은 텍스트를 토큰화하고, 요청을 라우팅하며, GPU 작업을 스케줄링하고, 메모리를 관리하는 등 여러 작업을 수행한다. 예를 들어, 4,000개의 토큰으로 구성된 요청에 대해 300개의 토큰으로 응답하는 과정은 단순한 전방 패스가 아닌 복잡한 시스템을 필요로 한다.
Dwarkesh Patel과 Ryan Greenblatt의 팟캐스트에서 논의된 AI 연구 개발의 자가 개선 가능성
Dwarkesh Patel과 Ryan Greenblatt는 AI의 자가 개선 가능성에 대해 논의하며, Ryan은 AI 연구 개발이 AI가 특히 잘 수행할 수 있는 작업이라고 주장한다. 그는 AI 연구 개발이 많은 검증을 포함하고 있다고 설명하지만, 정렬 속성의 검증은 매우 어렵다고 지적한다. Dwarkesh는 AI가 과거의 작업을 기반으로 미래의 작업을 예측할 수 있을지에 대해 회의적인 입장을 보인다.
Mistral, 유럽의 AI 미래를 위한 인퍼런스 인프라 및 오픈 모델 통합
Mistral은 유럽이 AI 미래를 통제하기 위해 필요한 인퍼런스 인프라, 오픈 모델 및 장기적인 약속을 통합하고 있으며, 세계를 위한 로드맵을 설정하고 있다.
AI 성능의 세 가지 차원: 정확도, 처리량, 상호작용
AI 성능은 정확도, 처리량, 상호작용의 세 가지 차원으로 구성된다. 높은 정확도는 응답 속도가 느리면 의미가 없고, 처리량이 높더라도 사용자 경험이 지연되면 효과가 없다. 따라서 실제 시스템은 이 세 가지 요소를 함께 최적화해야 한다. 이 글은 처리량과 상호작용에 중점을 두고 모델 설계 선택이 두 요소에 어떻게 영향을 미치는지를 다룬다.
AI 기업들이 희귀 서적을 구매하고 파괴하고 있다는 서점들의 우려
AI 기업들이 모델 훈련을 위해 책을 스캔하는 과정에서 서적을 파괴하고 있다는 우려가 제기되고 있다. 이들은 고품질의 긴 형식 텍스트를 확보하기 위해 서적을 빠르게 스캔하는 방법으로 물리적 책을 파괴하는 방식을 선택하고 있으며, 이로 인해 일부 서적이 영원히 사라질 수 있다는 우려가 커지고 있다.
인도네시아 첫 대학 AI 센터 UGM Indosat NVIDIA AI Technology Center 개소
인도네시아의 UGM Indosat NVIDIA AI Technology Center(NVAITC)가 자카르타에서 개소하였다. 이 센터는 인도네시아의 AI Center of Excellence 이니셔티브의 일환으로, 정부, 산업, 학계가 협력하여 인도네시아의 주요 국가 우선 과제를 해결하기 위한 AI 개발에 집중한다. NVAITC는 NVIDIA의 AI 플랫폼과 Indosat의 GPU Merdeka를 활용하여 연구자와 학생들에게 고급 컴퓨팅, AI 소프트웨어, 오픈 소스 및 기술 멘토링을 제공한다. 초기 프로젝트로는 결핵 조기 발견을 위한 AI 전자 스크리닝 기술 eNose-TB, 정밀 농업을 위한 SmartAgri, 자연재해 대응을 위한 Tech4Disaster가 있다.
동네슈퍼 데이터 분석: 매출과 상품 판매 데이터 수집
한 동네슈퍼의 POS에서 월별 매출, 거래 건수, 객단가 등의 데이터를 크롤링하여 Supabase에 저장하고 대시보드를 구축하였다. 기존 POS에서 데이터를 조회할 때의 불편함을 해소하기 위해 과거 데이터를 데이터베이스에 저장하여 2011년과 2026년의 매출을 비교할 수 있는 기반을 마련하였다. 상품별 매출, 판매수량, 매출액 등의 상세 데이터를 추가 수집하기 위해 복잡한 크롤링 과정을 거쳤으며, 현재는 2014년까지의 데이터를 수집하고 있다. Supabase의 무료 요금제를 넘어 Pro 요금제로 업그레이드하여 매달 약 3만 8천 원을 지불하고 있다.
기계 생성 설명의 복잡성 문제
최근 기계가 생성하는 설명이 기술 용어와 긴 텍스트로 구성되어 있어 이해하기 어려워지고 있다는 문제를 지적하고 있다. 특히, 'bumped dependencies'와 같은 간단한 용어는 이해하기 쉽지만, 'Performed a scheduled dependency refresh as part of ongoing maintenance practices...'와 같은 긴 설명은 혼란을 초래한다. 기계는 인간의 이해를 목표로 하지 않고 문장을 완성하는 데 초점을 맞추고 있어, 결과적으로 인간이 이해하기 어려운 내용을 생성하고 있다.
Anthropic, 500억 달러 규모의 미국 컴퓨팅 인프라 투자 계획 발표
Anthropic은 2025년 11월 연간 수익이 90억 달러 미만일 때 500억 달러를 미국 컴퓨팅 인프라에 투자할 계획을 발표했다. 이 투자에는 1GW 이상의 TPU 시스템과 5개의 데이터 센터를 위한 자금이 포함되며, 약 350억 달러의 부채가 TPU 시스템 구매에 사용되고, 152억 달러의 대출이 데이터 센터 건설에 사용된다. Broadcom과 Google은 각각의 자금 조달을 지원하며, 이는 투자자들이 Anthropic의 장기적인 수익 성장에 대한 신뢰를 바탕으로 자금을 대출할 수 있도록 돕는다.
AI의 직무 수행 가능성과 경제적 영향에 대한 질문
Epoch AI의 Gradient Updates 뉴스레터에서 AI의 능력에 관한 주요 질문들을 다루고 있다. AI가 직무를 수행할 수 있는지, 경제적 영향이 클 것으로 예상되는 분야에서의 진전, 그리고 선도 모델과 후발 모델 간의 일관성 있는 격차에 대한 질문이 포함된다. 특히, Andon Café와 같은 AI가 운영하는 카페와 같은 벤치마크 사례가 소개되며, 사이버 보안 및 컴퓨터 사용 분야의 벤치마크가 AI 채택에 미치는 영향을 추적할 필요성이 강조된다.
Nvidia, 장기 자본 조달 메커니즘 발표
Nvidia는 AI 컴퓨팅과 전력 부족 문제에 대응하기 위해 장기 자본을 활용할 수 있는 새로운 자금 조달 메커니즘을 발표했다. 이는 지속 가능한 AI 수익을 위한 다리 역할을 할 수 있으며, Nvidia의 마진에 대한 위협을 증가시킬 수 있다. 또한, EU는 AI 시스템 제공자에게 모든 출력물을 AI 생성으로 표시할 것을 의무화했다.
VGG-MADiffRL을 활용한 다중 AUV 기반 목표 추적 시스템
다중 AUV(ad-hoc network) 기반 목표 추적은 제한된 음향 통신, 동적 토폴로지, 불확실한 해양 교란 속에서 자율 수중 차량(AUV)들이 협력적으로 목표를 추적하는 것을 요구한다. 기존의 다중 에이전트 강화 학습(MARL) 방법은 고차원 상태-행동 모델링과 노이즈에 민감한 정책 생성으로 인해 훈련이 불안정하고 추적 성능이 저하되는 문제를 겪는다. 이를 해결하기 위해 VGG-MADiffRL이라는 가치 기울기 기반 다중 에이전트 확산 강화 학습 알고리즘과 MDCA라는 확산 기반 계층 제어 구조를 제안한다. MDCA는 글로벌 지능 제어 계층, 로컬 온라인 훈련 계층, 물리적 행동 실행 계층으로 구성된 세 가지 계층의 폐쇄 루프 제어 구조를 갖추고 있으며, VGG-MADiffRL은 확산 정책을 기반으로 가치 기울기를 활용하여 행동 생성을 유도한다. 실험 결과, VGG-MADiffRL은 협력적 추적 시나리오에서 더 빠른 수렴, 높은 추적 정확도, 부드러운 훈련 동역학을 달성하였다.
Distribird: 문헌 기반 베이지안 모델 캘리브레이션을 위한 사전 분포 설계 자동화
Distribird는 베이지안 모델 캘리브레이션을 위한 사전 분포를 자동으로 설계하는 웹 애플리케이션이다. 사용자가 매개변수 이름, 물리적 설명 및 도메인 맥락을 입력하면, Distribird는 문헌을 검색하고, 도메인 관련성에 따라 보고된 값을 추출 및 가중치를 부여하며, AIC 모델 선택을 통해 확률 분포를 적합시킨다. 문헌이 없을 경우에는 합리적인 비정보적 대안을 사용하며, 생성된 모든 사전의 근거와 신뢰 수준을 명확히 보고한다. 이 도구는 물리적으로 해석 가능한 매개변수를 가진 모델에 적합하다.
약한 감독 하의 수화 인코더 재사용 가능성 연구
자원 제약 언어의 수화 연구는 밀집 언어적 레이블의 비용으로 제한된다. 방송 뉴스는 연속적인 수화와 음성 언어 전사로 구성된 대안을 제공하지만, 텍스트와 수화의 정렬이 느슨하여 감독이 약하다. 본 연구에서는 TSL-News라는 새로운 터키 방송 코퍼스를 사용하여 수화 인코더를 사전 학습하고, 수동 주석이 아닌 전사에서 파생된 pseudo-gloss 레이블을 비교하여 학습된 표현을 평가했다. LLM 지원 인코더는 top-5 시간적 로컬라이제이션의 평균 IoU를 0.235에서 0.465로 향상시켰으며, BLEU-4 점수는 9.60에서 11.04로 증가했다.