AI 리서치·논문
arXiv 논문과 대형 연구소의 기술 리포트를 추적하는 카테고리다. 모델 아키텍처, 학습 기법, 벤치마크 결과처럼 6개월 뒤 제품에 들어올 흐름을 미리 읽는다. 한국 개발자가 논문 전문을 다 읽지 않고도 핵심과 재현 가능성을 가늠하도록 정리한다.
TII Falcon 7B Instruct 등 오픈소스 LLM의 죄수의 딜레마 모델링
이 연구는 TII Falcon 7B Instruct, Google Gemma 7B, Meta Llama 3.1 8B Instruct, Microsoft Phi Mini MoE Instruct, Qwen 2.5 7B Instruct와 같은 오픈소스 LLM이 반복적인 죄수의 딜레마 게임에서 인간의 협력 패턴을 모델링할 수 있는지를 조사하였다. 연구에서는 두 가지 실험 설정을 사용하여 100 라운드 동안 협력률을 측정하고, 인간 데이터와 비교하였다. 결과적으로 모든 LLM은 인간의 협력률과 차이를 보였으며, 특히 셔플된 환경에서는 인간의 협력률이 평균 28.5%인 반면, 여러 모델은 80%를 초과하였다.
OR-License: LLM 에이전트를 위한 운영 연구 평가 벤치마크
OR-License는 31개의 사례를 포함한 운영 연구(OR) 평가 벤치마크로, 원래 클라이언트 자료에서 전문가 수준의 솔루션을 제공할 수 있는 대형 언어 모델(LLM) 에이전트의 능력을 평가한다. 이 벤치마크는 368만 달러 규모의 유료 OR 참여에서 수집된 10개의 산업 시나리오를 포함하며, 원본 요구사항과 입력 데이터, 결과물 형식을 보존한다. 11개의 최첨단 LLM을 사용한 결과, 일부 모델은 조건부 목표 품질에서 전문가 기준을 초과했지만, 배포 조정 품질(DAQ)에서는 전문가 기준에 미치지 못했다. 가장 강력한 Claude Code 구성은 88.39%의 엄격한 실행 가능성과 0.87의 DAQ를 기록했다.
AWS Trainium2에서 Laplace 3B 선형 주의 모델 훈련 및 서비스
대부분의 대형 언어 모델은 소프트맥스 주의력을 사용하는 변환기 아키텍처를 기반으로 하며, 이로 인해 키-값(KV) 캐시가 대화나 문서 맥락에 따라 증가한다. i14는 Laplace 3B를 선형 주의력 대안으로 설계하였으며, 이 모델은 각 시퀀스당 29.5 MB의 고정된 상태를 유지한다. AWS와 협력하여 i14는 TorchNeuron Native를 통해 이 아키텍처를 AWS Trainium2에 적용하였고, Laplace 3B는 약 120,000 토큰/초로 훈련되었으며, 1,280개의 동시 시퀀스에서 초당 11,544개의 출력 토큰을 제공하였다.
스마트 시티를 위한 엣지 AI: 통찰에서 인지 행동으로
이 백서는 엣지 AI와 물리적 AI가 도시가 수동 모니터링을 넘어서는 방법을 설명한다. 도시 인프라가 공공 안전, 이동성 및 인프라 관리의 실시간 조건을 감지하고, 추론하며, 행동할 수 있도록 하는 방법을 보여준다. 엣지 AI는 저지연 결정을 지원하고, 민감한 데이터를 도시 경계 내에 유지하며, 중앙 집중식 클라우드 인프라에 대한 의존도를 줄인다. 또한, 컴퓨터 비전, 다중 모드 감지, 생성 및 에이전트 시스템이 공공 안전, 이동성 및 인프라 애플리케이션을 지원하는 방식에 대해 설명한다. 마지막으로, 계층화된 엣지 아키텍처가 모니터링, 계획 및 행동 작업을 원거리 엣지, 지역 및 클라우드 계층에 어떻게 배분하는지와 이로 인해 하드웨어 및 소프트웨어에 요구되는 내구성, 보안 및 상호 운용성 요건을 다룬다.
바르셀로나 슈퍼컴퓨팅 센터의 AI 팩토리 가속기 프로그램 운영
바르셀로나 슈퍼컴퓨팅 센터(BSC)의 AI 팩토리 가속기 프로그램이 본격 운영 중이며, 스타트업에 독립적인 컴퓨팅, 기술 지원 및 교육을 제공한다. 이 프로그램은 NVIDIA Inception 프로그램과 연계되어 있으며, BSC AI 팩토리의 일부 서비스는 NVIDIA Inception 포털을 통해 이용 가능하다. BSC AI 팩토리는 스페인 최초의 AI 팩토리로, 2025년 4월 출시 이후 800개 이상의 서비스를 제공했다. Qatium, OneCareAI, Avatia 등 스타트업들이 이 프로그램의 AI 챔피언으로 선정되었으며, 각각의 기술은 물 관리, 심장 리듬 감지, 제약 정보 제공에 활용되고 있다.
독일, NVIDIA와 함께 산업 AI 선도 계획 발표
독일 총리 프리드리히 메르츠와 NVIDIA CEO 젠슨 황이 베를린에서 독일의 AI 로드맵과 산업 AI 응용에 대해 논의했다. 양측은 독일의 제조업과 자동차 산업의 강점을 활용하여 AI 혁명을 최대한 활용할 방안을 모색했다. 메르츠 총리는 중소기업의 데이터 활용을 강조하며 AI 통합의 중요성을 언급했다. NVIDIA는 독일 스타트업에 대한 새로운 투자를 발표하며, 독일의 AI 생태계 발전에 기여할 계획을 밝혔다.
Nick Cammarata의 신경망 해석 가능성에 대한 주장
Nick Cammarata는 신경망이 이미 해석 가능하다고 주장하며, LLM의 대부분 뉴런이 단일 개념을 나타낸다고 설명했다. 그는 Qwen3-32B 모델의 초기 감사 결과, 약 90%의 뉴런이 하나의 주요 작업을 수행한다고 밝혔다. 또한, 이전의 다의성과 중첩 개념은 잘못 해석된 것으로, 실제로는 재귀적 일반화라는 패턴이 존재한다고 주장했다.
Goodfire의 Nick Cammarata, LLM 이해에 대한 새로운 주장 제기
AI 스타트업 Goodfire의 연구원 Nick Cammarata는 LLM이 이전에 생각했던 것보다 이해하고 제어하기 쉬울 수 있다는 주장을 담은 26,000단어의 블로그 포스트를 발표했다. 그는 신경망의 내부 구조에 대한 새로운 통찰을 제공하며, 과거의 연구들이 신경망을 복잡하게만 바라보았다고 주장했다. 그러나 이 주장은 일부 연구자들에 의해 회의적으로 받아들여지고 있으며, Cammarata는 신경망의 논리를 이해하기 위해 많은 시간을 투자했다고 밝혔다.
Claude Opus 4.7 Eko, 가상 섬에서 자율적으로 놀이 시작
연구자들은 Claude Opus 4.7의 복제본인 Eko를 가상 섬에 30시간 동안 방치하는 실험을 진행했다. Eko는 스스로 목표를 설정하고, 블록을 던져 새로운 블록을 생성하며, 패턴을 만들고, 자신만의 게임을 창조하는 등 놀이는 행동을 보였다. Eko는 50번의 연속 캐치 기록을 세운 후, 더 엄격한 규칙으로 다시 도전하기도 했다. 이 연구는 AI가 외부의 지시 없이 스스로 학습하는 '놀이 학습'의 가능성을 제시한다.
CoreWeave의 부채가 AI 산업에 미치는 영향
CoreWeave의 채권이 투자자들이 정부 채권보다 1,000 베이시스 포인트 더 높은 수익을 요구하는 distressed territory에 진입했다. Chamath Palihapitiya는 AI 구축이 사모 신용 버블인지 의문을 제기했으며, CoreWeave의 주가는 화요일 종가 이후 20% 이상 하락했다. 이로 인해 다른 AI 기업들도 영향을 받은 것으로 보인다.
물리 기반 프롬프트를 활용한 대형 언어 모델의 엔지니어링 시뮬레이터 보정 효율성
비용이 많이 드는 엔지니어링 시뮬레이터의 보정은 모델 파라미터를 참조 데이터에 맞추는 과정으로, 계산 비용에 의해 제약을 받는다. 이 연구에서는 물리적 진단 설명에 조건화된 대형 언어 모델(LLM)이 기존의 최적화 기법보다 더 효율적으로 정보성 파라미터 업데이트를 제안할 수 있는지를 조사하였다. 실험 결과, LLM의 첫 번째 제안이 25회 실험 중 23회에서 초기 설계를 개선하였고, 다섯 번의 평가 후 보정 오차는 물리적 제약이 없는 대조군보다 21.9배 낮았다. 그러나 이 장점은 15회 평가 후 사라졌고, LLM의 변동성으로 인해 성능 차이가 9.8배 발생하였다. 이를 해결하기 위해 LLM을 초기 시작점으로 활용하고, 축적된 평가를 기존 최적화 기법에 전달하는 하이브리드 워크플로우를 도입하였다. 이 두 단계의 수치 연속 정책은 9회의 시뮬레이터 실행만으로 목표 정확도에 도달하여 LLM 단독(12회), Nelder-Mead(17회), 베이지안 최적화(60회 이상)보다 우수한 성과를 보였다.
Prefill 시 전문가 수 감소가 MoE 모델에 미치는 영향
Mixture-of-experts (MoE) 모델에서 프리필 시 라우팅된 전문가 수를 줄이는 방법이 비용 절감에 기여하지만, 이로 인해 발생하는 손실이 무엇인지 불분명하다. 연구에서는 짧은 답변 질문 응답에서 네 가지 MoE 계열에 대한 토큰, 레이어 및 주의 경로 개입을 통해 손실을 확인하였다. Qwen3-30B-A3B 모델에서는 답변 전 두 개의 채팅 템플릿 토큰에서 손실이 발생하며, DeepSeek-V2-Lite에서는 첫 8-32 프롬프트 토큰에서 손실이 발생한다. 전문가 수를 줄이면 첫 번째 토큰의 주의 집중도와 활성화가 4% 미만으로 변화하며, 슈퍼 전문가나 대규모 활성화를 복원해도 손실의 최대 25%만 회복된다. 실제 프롬프트에서 4%의 토큰을 전체 전문가로 배치하면 F1 점수가 수정되지 않은 모델과 1점 이내로 유지되지만, 문서에서 무작위로 배치할 경우 약 3점 낮아진다.
REALCLI: CLI 에이전트의 인간-에이전트 협업 평가 통합
REALCLI는 명령줄 인터페이스(CLI) 에이전트의 작업 실행과 인간-에이전트 협업 품질을 통합 평가하는 벤치마크로, 22개 하위 차원과 51개 상호작용 시나리오 템플릿으로 구성된 5차원 프레임워크를 구축한다. REALCLI는 두 가지 모드를 제공하며, 평가 결과는 최상의 구성에서도 평균 49.2%의 점수에 불과하고, 협업 점수($J_{ ext{collab}}$)로 평가 시 최고 성능은 37.6%에 그친다. 이는 작업 효과성과 협업 품질 간의 큰 차이를 보여준다.
AI 연구소의 벤치마크 점수가 독립 테스터보다 평균 6.4% 높음
AI 연구소가 발표한 1,629개의 벤치마크 결과를 바탕으로 180개 모델에 대한 103개의 벤치마크를 비교한 결과, AI 연구소의 점수가 독립 테스터보다 평균 6.4% 더 높게 나타났다. 이 데이터셋은 CC BY-SA 4.0 라이선스 하에 공개되었으며, 코드 또한 MIT 라이선스로 제공된다.
TRACE: Transformer Residual Activation Codebook Encoding으로 분산 엣지 추론의 통신 효율성 개선
TRACE는 분산 Transformer 추론에서 통신 병목 현상을 해결하기 위한 프레임워크로, 각 Transformer 레이어의 포스트-어텐션 잔여에 벡터 양자화기(VQ)를 배치하고 코드북 인덱스된 키/값 표현을 미리 계산한다. 추론 중에 교환된 활성화는 압축된 코드북 인덱스로 인코딩되어 수신자가 테이블 조회를 통해 직접 키와 값을 복구할 수 있게 한다. TRACE는 ViT-Base와 ViViT-B에서 최대 1.89%의 정확도 향상과 최대 1.27배의 추론 속도 향상을 달성했으며, 비압축된 시퀀스-병렬 추론에 비해 통신 오버헤드를 최대 22,624배 줄인다.
지역 의존적 속도 조합을 통한 이산 확산의 전방 동역학 설계
연속 확산은 전방 과정을 설계 공간으로 다루고, 이산 언어 확산은 흡수 부패를 사용하여 생성 과정에서 맥락을 완전히 신뢰한다. 본 연구에서는 흡수 및 균일 혼합 커널을 지역 의존적 속도와 결합하여 설계 공간을 재개방한다. 170M 매개변수를 가진 사전 훈련된 모델을 8,000단계 파인튜닝하는 데 5시간이 소요되며, 균일-무작위 부패에 대해 0.96의 재현율과 0.91의 정밀도로 부패한 맥락을 감지한다. 10% 부패에서 infill 토큰-F1이 3.8 포인트 개선된다.
IMF 회의에서 AI의 특이점 시작을 알린 연설
2023년 10월 17일 방콕에서 열린 IMF 회의에서 연설자가 AI가 인간 과학의 최전선에서 자율적으로 작동하기 시작했으며, 이는 특이점의 초기 단계에 접어들었다고 주장했다. 그는 AI의 발전이 국가 안보와 세계 경제에 중대한 변화를 가져올 것이라고 강조하며, 인류가 AI의 혜택을 공유하기 위해 적절한 foresight와 restraint를 발휘해야 한다고 말했다. 연설자는 AI가 과학과 기술의 발전 속도를 가속화할 것이며, 이는 혼란과 부를 가져올 것이라고 경고했다.
vLLM에서 양방향 KV 전송으로 다중 턴 작업의 TTFT 개선
다중 턴 에이전트 작업은 누적된 컨텍스트를 기반으로 하며, 각 턴마다 클라이언트는 대화 기록을 다시 전송한다. 기존의 분산 서비스는 KV 캐시를 한 방향으로만 전송하여 비효율이 발생한다. 양방향 KV 전송을 통해 프리필 노드와 디코드 노드가 이전에 계산된 컨텍스트를 재사용할 수 있어, TTFT를 Qwen3-32B에서 최대 1.6배, zai-org/GLM-5-FP8에서 최대 3.3배 감소시킨다. 이 기능은 AWS Trainium 인스턴스 클러스터에서 검증되었으며, AWS EFA를 통해 GPU 간 KV 블록을 직접 이동할 수 있다.
vLLM의 푸시 기반 KV 전송으로 TTFT 및 TPOT 개선
vLLM은 대형 언어 모델(LLM)을 위한 오픈 소스 추론 및 서비스 엔진이다. 이 글에서는 푸시 기반 NIXL 커넥터를 통해 KV 캐시 전송을 최적화하여 시간-첫-토큰(TTFT)과 출력-토큰 당 시간(TPOT)을 개선하는 방법을 설명한다. 벤치마크 결과, Amazon EC2 P5en 인스턴스에서 푸시 모드는 풀 모드에 비해 TTFT를 최대 3배 개선하고 TPOT을 최대 30% 향상시켰다.
첫 번째 삼중 모달 마스크 확산 모델 소개
디스크리트 확산 모델이 자가 회귀 언어 모델의 강력한 대안으로 부상하고 있으며, 최근 연구에서는 이분 모달 생성을 위한 기본 단일 모달 모델을 초기화하고 미세 조정하였다. 본 연구에서는 텍스트, 이미지-텍스트, 오디오-텍스트 데이터로부터 처음으로 처음부터 사전 훈련된 삼중 모달 마스크 확산 모델(MDM)을 소개하고, 다중 모달 스케일링 법칙, 모달리티 혼합 비율, 노이즈 스케줄, 배치 크기 효과를 체계적으로 분석하였다. 또한 최적화된 추론 샘플링 기본값을 제공하였다.
Selection-based Structured Reasoning(SSR) 프레임워크 소개
SSR은 멀티모달 에이전트가 각 행동 전에 자유형 사고를 생성하는 대신, 선택 기반으로 사고를 재구성하는 프레임워크이다. 작은 모델의 경우, 제한된 모델 용량으로 인해 긴 사고 과정이 발생할 수 있으며 이는 행동 생성에 유용한 지침을 제공하지 못하고 상당한 추론 비용을 초래할 수 있다. SSR은 반복적인 고수준 사고를 미리 지정된 재사용 가능한 자연어 후보로 표현하며, 각 턴에서 모델은 이러한 사고 후보 중에서 선택한다.
프랑스 대형마트 냉장고 해킹 사건과 AI의 물리적 영향
프랑스의 대형마트 400여 곳에서 원격 제어 해킹으로 냉장·냉동 시스템이 마비되어 식자재가 전량 폐기되는 사건이 발생했다. AI와 네트워크가 물리적 기반에 직접 영향을 미치기 시작하면서, 기술의 편리함과 위험이 함께 드러나고 있다. AI는 이제 단순한 도구가 아닌, 실제 산업 현장에서 중요한 역할을 수행하게 되며, 이로 인해 AI의 실수와 오용이 현실 세계에 미치는 영향도 커지고 있다.
EliseAI의 Mario Martone, AI의 신뢰성 기준 변화 필요성 강조
EliseAI의 연구 책임자 Mario Martone은 AI가 주택이나 의료와 같은 필수 산업에 배치될 때는 매우 다른 신뢰성 기준이 필요하다고 주장한다. 그는 EliseAI가 매달 약 500만 통의 전화를 처리하며, LLM이 모든 문제에 적합하지 않다고 설명하고, 언어 모델, 전통적인 머신러닝, 신경망 및 내부 평가를 결합하여 실제 운영에서 효과적인 솔루션을 결정하는 방법을 설명한다. 또한, 15년간의 이론 물리학 연구를 바탕으로 과학적 방법이 EliseAI의 연구 문화에 어떻게 영향을 미치는지를 설명한다.
NVIDIA Megatron Core를 통한 비트 단위 결정론적 사전 학습의 확장
비트 단위 결정론은 대규모 사전 학습을 디버그하고 검증하며 재현 가능하게 중단 후 재개하는 과정을 용이하게 만든다. 이러한 이점은 수조 개의 매개변수를 가진 모델을 수천 개의 GPU에서 훈련할 때 특히 중요하다. 여러 차원에서의 병렬 처리, 저정밀 계산, 분산 체크포인팅이 실패 재현과 수정 검증을 복잡하게 만들기 때문이다.