AI 리서치·논문
AI 컴퓨팅 파워의 대부분은 최전선 연구소에서 사용되지 않음
OpenAI는 2022년 ChatGPT 출시로 AI 붐을 일으켰으며, 2023년 Nvidia의 AI 관련 매출이 4배 증가했다. 2025년 말 OpenAI의 연구, 훈련 및 추론에 사용되는 컴퓨팅 파워는 세계 AI 컴퓨팅 공급의 약 10%에서 15%를 차지할 것으로 추정된다. Anthropic, xAI, Google, Meta의 AI 연구소를 포함하더라도 이들 연구소의 총합은 세계 총량의 절반에도 미치지 않는다. 2025년 말 기준으로 OpenAI, Anthropic, xAI의 총 H100e는 약 400만 개 미만으로 추정된다.
AI 칩 설계에서 메모리 비용 증가
2024년 초 이후 AI 칩 설계에서 메모리 비용이 전체 구성 요소 지출의 52%에서 63%로 증가했다. 고대역폭 메모리(HBM)의 지출은 2024년 약 120억 달러에서 2025년 320억 달러로 증가했다. Josh You는 주요 연구소들이 향후 몇 년 내에 글로벌 AI 컴퓨팅 사용량의 대부분을 차지할 수 있을 것으로 예상하며, 이 경우 칩 공급이 성장의 한계를 초래할 것이라고 언급했다.
중국 Z.ai, GLM-5.2로 Mythos와 사이버 보안 성능 비교
중국의 Zhipu AI(Z.ai)가 오픈 웨이트 GLM-5.2를 출시했으며, 일부 연구자들은 이 모델이 특정 버그 탐지 및 사이버 보안 시나리오에서 Mythos와 비슷한 성능을 보인다고 주장하고 있다. GLM은 Anthropic 및 OpenAI의 모델에 비해 일반적인 작업에서는 뒤처지지만, 미국 모델과의 능력 차이를 크게 줄인 것으로 보인다. 이러한 발전은 미국 정부에 우려를 주고 있으며, 미국은 Anthropic의 Mythos 및 Fable과 같은 강력한 모델과 이를 훈련하고 실행하는 데 필요한 하드웨어에 대한 중국의 접근을 제한하기 위해 노력하고 있다.
Margaret Atwood, AI 챗봇 Claude에 대한 실망 표현
Margaret Atwood는 2026년 1월 26일 포르투갈 포르투에서 열린 Babell 문학 및 문화 축제에서 인터뷰를 통해 AI에 대한 의견을 밝혔다. 그녀는 Anthropic의 AI 챗봇 Claude를 한 번 사용했으며, 영국 탐정 시리즈 Father Brown에 대한 정보를 요청했으나 잘못된 답변을 받았다고 전했다. Atwood는 Claude가 잘못된 정보를 제공했으며, 이는 AI가 인간이 아니기 때문에 발생한 문제라고 설명했다.
Anthropic, AI 안전성을 위한 책임 있는 개발 강조
Anthropic의 비판자들은 이 회사가 빠르게 권력을 축적하고 있다고 주장하고 있다. 그러나 Anthropic은 이것이 책임 있는 AI 개발의 모습이라고 설명하고 있다.
OpenAI, Appia Foundation을 통해 고급 AI의 공동 기준 구축 지원
OpenAI는 Appia Foundation을 통해 고급 AI에 대한 공동 기준을 구축하고, 평가 프레임워크, 안전 관행 및 글로벌 협력을 지원하고 있다.
Generative causal testing(GCT)으로 뇌 반응 예측 모델 설명
Microsoft Research와 UC Berkeley, UCSF, Columbia University의 협력으로 개발된 Generative causal testing(GCT)는 뇌 예측 모델을 간결한 설명으로 변환하고 이를 검증하는 방법이다. GCT는 LLM을 사용해 특정 뇌 영역을 활성화하는 이야기를 작성하고, 피험자가 스캐너에서 이를 들었을 때 해당 영역이 반응하는지를 측정한다. 이 방법은 뇌의 특정 영역이 반응하는 내용을 이해하는 데 도움을 주며, 모델의 신뢰성을 높인다. GCT는 두 단계로 구성되며, 첫 번째 단계에서 LLM이 뇌 영역의 예측 모델을 요약하고, 두 번째 단계에서 새로운 이야기를 작성하여 검증한다.
AI 시스템의 위임 작업에서의 신뢰성 연구 결과
Microsoft의 연구 논문 "LLMs Corrupt Your Documents When You Delegate"는 위임된 작업에서 AI 시스템의 신뢰성에 대한 논의를 촉발했다. 연구는 장기 위임 및 협업 작업을 위한 강력한 평가 방법 개발을 목표로 하며, 정보가 어떻게 보존되는지를 평가한다. 연구 결과에 따르면, 현재의 최첨단 모델은 20번의 위임 반복에서 약 19-34%의 아티팩트 충실도 저하를 보였으며, Python 워크플로우는 평균 1% 미만의 저하를 나타냈다. 이 연구는 위임 패턴을 진단하는 도구로 설계되었으며, AI 시스템의 신뢰성을 높이기 위한 추가 연구와 엔지니어링이 필요함을 강조한다.
오픈 웨이트 LLM의 성능이 폐쇄형 LLM을 따라잡는 추세
Artificial Analysis Intelligence Index에 따르면, 오픈 웨이트 LLM이 폐쇄형 LLM의 과거 성능을 따라잡는 시간이 2024년 여름부터 줄어들기 시작하며, 2026년 12월 3일에는 격차가 0개월이 될 것으로 예상된다.
David Reich, 청동기 시대의 자연 선택 강화 주장
David Reich와 Ali Akbari는 농업 혁명 이후 자연 선택이 잠잠하다는 기존의 합의를 뒤엎는 논문을 발표했다. 고대 DNA 시퀀싱을 확장하고 새로운 통계 방법을 개발하여, 자연 선택이 실제로 가속화되었음을 발견했다. 특히 청동기 시대(약 3,000년 전) 동안 면역 기능, 체지방, 지능 등 유전자 빈도가 가장 큰 변화를 보였다. 지난 10,000년 동안 선택은 인지 성능의 유전적 예측치를 약 1 표준 편차 상승시켰으며, 그 대부분은 4,000년에서 2,000년 사이에 발생했다. 또한, 네안데르탈인에 대한 새로운 모델을 제시하며, 그들이 현대 인류의 유전적 혼합체라는 주장을 했다.
Reiner Pope의 LLM 훈련 및 서비스 방식 강의
Reiner Pope는 블랙보드 강의를 통해 최전선 LLM의 훈련 및 서비스 방식을 설명했다. 그는 AI의 전체 스택을 이해하는 사람은 드물며, Google에서 소프트웨어 효율성, 컴파일러, TPU 아키텍처에 대해 작업한 경험이 있다. 이 강의에서는 배치 크기가 토큰 비용과 속도에 미치는 영향, MoE 모델의 GPU 랙 배치, 파이프라인 병렬성이 모델 레이어를 분산하는 방식, RL로 인해 모델이 과도하게 훈련되는 이유 등을 다룬다.
rewardspy: RL 보상 함수의 보상 해킹 탐지 라이브러리
GRPO 훈련 실험 중 보상이 증가할 때 정책이 실제로 개선되고 있는지 아니면 보상 함수를 악용하고 있는지 판단하기 어려운 문제를 해결하기 위해 'rewardspy'라는 라이브러리를 개발했다. 이 라이브러리는 기존의 보상 함수를 감싸고 보상 해킹을 선행하는 지표를 지속적으로 모니터링한다. 현재 추적하는 요소로는 롤링 보상 통계, 보상 분산 붕괴, 보상 구성 요소 불균형, 응답 길이 드리프트, 보상 기울기 변화, GRPO 그룹 붕괴 등이 있다.
AI 2026: LLM, 코딩, AI 경쟁 구도
Nathan Lambert는 Allen Institute for AI의 포스트 트레이닝 리드이며, Sebastian Raschka는 'Build a Large Language Model (From Scratch)'의 저자이다. 이 팟캐스트에서는 AI의 발전, 특히 LLM의 진화와 AI 경쟁 구도에 대한 논의가 포함되어 있다. 또한, AI 개발 및 연구에 대한 초보자를 위한 조언과 AI 훈련 과정에 대한 설명도 제공된다.
포스트 트레이닝을 고려하라: 하드웨어 활용 방안
포스트 트레이닝은 모델을 개선하는 방법으로, 4년간 '포스트 트레이닝 서비스'를 제공해온 경험을 바탕으로 제안된다. 예를 들어, BERT 스타일 모델을 SFT 방식으로 조정하여 악성 소비자 식별, 기업 스파이 활동 태깅, 소비자 특성 프로파일링 등의 실제 프로젝트를 수행해왔다. 포스트 트레이닝은 품질과 속도가 중요하며, 데이터 믹스와 모델 조합에 따라 성능이 달라진다. RFT(강화 학습 미세 조정)는 현재 개발 중이며, 이 과정에서 빠른 추론과 보상 시스템이 필요하다. OpenAI의 SFT API 종료와 비싼 RFT API로 인해, 커스텀 포스트 트레이닝은 오픈 모델의 영역에서 수익을 창출할 수 있는 기회가 된다.
IBM MCGA Gate Array 리버스 엔지니어링 프로젝트
IBM MCGA에 대한 리버스 엔지니어링 프로젝트가 GitHub에서 진행되고 있으며, 관련 링크는 https://github.com/schlae/IBM_MCGA이다. 이 게시물은 Hacker News에서 12점을 받았고, 4개의 댓글이 달렸다.
2026년 1-2월 오픈 웨이트 LLM 주요 아키텍처 10개
2026년 1월 27일 Arcee AI의 400B Trinity Large 모델이 출시되었으며, 두 개의 소형 변형 모델인 Trinity Mini(26B)와 Trinity Nano(6B)도 함께 공개되었다. Trinity Large는 Mixture-of-Experts 구조를 채택하고 있으며, 13B의 활성 파라미터를 가지고 있다. 2월 1일에는 StepFun의 Step 3.5 Flash, 2월 3일에는 Qwen3-Coder-Next가 출시되었고, 2월 12일에는 z.AI의 GLM-5와 MiniMax M2.5가, 2월 13일에는 Nanbeige 4.1 3B가 출시되었다. 2월 15일에는 Qwen 3.5, 2월 16일에는 Ant Group의 Ling 2.5 및 Ring 2.5, 2월 17일에는 Cohere의 Tiny Aya가 출시되었다. 3월 6일에는 Sarvam 30B와 105B가 업데이트될 예정이다.
LLM 아키텍처 갤러리 및 주목 변형 정리
DeepSeek V4의 출시가 지연됨에 따라, 저자는 지난 몇 년간 다룬 다양한 LLM 아키텍처를 정리하여 LLM 아키텍처 갤러리를 만들었다. 현재 45개의 항목이 포함되어 있으며, 각 항목은 시각적 모델 카드와 함께 제공된다. 갤러리는 정기적으로 업데이트될 예정이며, 포스터 버전도 제공된다. Multi-Head Attention (MHA) 개념이 설명되며, GPT-2, OLMo 2 7B, OLMo 3 7B와 같은 아키텍처가 예시로 언급된다. 주목(attention) 메커니즘은 RNN의 한계를 극복하고 입력 시퀀스의 모든 토큰에 접근할 수 있게 해준다.
2025년 LLM 발전: DeepSeek R1과 RLVR의 등장
2025년에는 LLM의 발전이 계속되었으며, 특히 DeepSeek의 R1 모델이 주목받았다. R1은 오픈 웨이트 모델로, 기존의 최고 상용 모델들과 비교할 만한 성능을 보였다. 이 모델은 강화 학습을 통해 추론 행동을 개발할 수 있음을 보여주었고, 훈련 비용이 예상보다 낮아 500만 달러에 이를 수 있다는 새로운 추정이 나왔다. 또한, RLVR 알고리즘이 도입되어 LLM의 후속 훈련에서 새로운 접근 방식을 제공하였다. 이러한 발전은 LLM의 성능 향상과 확장 가능성을 높이는 데 기여할 것으로 보인다.
Inference-Time Scaling을 통한 LLM 성능 향상 방법
Inference scaling은 배포된 LLM의 답변 품질과 정확도를 향상시키는 효과적인 방법이다. 추가적인 컴퓨팅 자원과 시간을 사용하여 모델이 더 나은 답변을 생성할 수 있도록 하는 이 방법은 현재 모든 주요 LLM 제공업체에서 활용되고 있다. 이 글에서는 다양한 접근 방식을 명확한 카테고리로 그룹화하고 최근 몇 달 간의 새로운 연구를 강조한다. 또한, 'Build a Reasoning Model (From Scratch)'의 한 챕터를 작성하는 과정에서 여러 기본적인 방법을 실험하였고, 이로 인해 모델의 정확도를 약 15%에서 52%로 향상시켰다.
AI 모델의 확률적 응답 생성 방식과 샘플링 기법
AI 모델은 확률적 특성을 가지며, 동일한 질문에 대해 서로 다른 응답을 생성할 수 있다. 이러한 특성은 창의적인 작업에 유리하지만, 사실 기반 작업에서는 일관성 부족과 환각을 초래할 수 있다. 모델의 응답 생성 과정은 샘플링(디코딩)으로 알려져 있으며, 샘플링 전략으로는 temperature, top-k, top-p 등이 있다. Temperature는 일반적인 토큰의 확률을 낮추고 희귀한 토큰의 확률을 높여 창의적인 응답을 생성하는 데 도움을 준다.
LMMs(대규모 다중 모달 모델)의 필요성과 활용
기존의 ML 모델은 텍스트, 이미지, 오디오 중 하나의 데이터 모드에서만 작동했으나, 인간의 자연 지능은 여러 모달리티를 활용한다. OpenAI는 GPT-4V 시스템 카드에서 LLMs에 이미지 입력과 같은 추가 모달리티를 통합하는 것이 AI 연구의 중요한 경계로 여겨진다고 언급했다. LMMs는 LLMs에 추가 모달리티를 통합한 모델로, 텍스트-이미지 변환 모델인 Midjourney, Stable Diffusion, Dall-E와는 다르다. LMMs는 다양한 입력과 출력을 처리할 수 있으며, CLIP과 Flamingo와 같은 시스템이 그 기초를 제공하고 있다.
예측적 인간 선호: 모델 라우팅을 통한 AI 모델 선택
예측적 인간 선호는 특정 쿼리에 대해 사용자가 선호할 모델을 예측하는 것을 목표로 한다. 이 접근법은 모델 라우팅에 활용될 수 있으며, 예를 들어 Claude Instant의 응답이 GPT-4보다 선호될 경우 해당 쿼리를 Claude Instant로 라우팅하여 응답 품질을 높이고 비용과 지연 시간을 줄일 수 있다. 또한, 모델의 성능을 다양한 프롬프트에서 분석하여 강점과 약점을 이해하는 데 도움을 줄 수 있다.
딥러닝에서의 스케일링 법칙의 중요성
스케일링 법칙은 딥러닝에서 중요한 경험적 발견으로, 모델 크기 $N$, 데이터셋 크기 $D$, 그리고 컴퓨트 $C$를 증가시킬 때 훈련 손실 $L$이 예측 가능하게 감소한다는 관찰을 포함한다. 이 관계는 파워-로우 곡선을 따르며, 로그-로그 플롯에서 직선으로 나타난다. 스케일링 법칙은 컴퓨트, 손실, 모델 크기 및 데이터 간의 관계를 설명하는 프레임워크로, $N$과 $D$ 간의 최적 컴퓨트 할당에 관한 것이다.
대규모 언어 모델에 대한 적대적 공격
ChatGPT의 출시로 대규모 언어 모델의 사용이 가속화되었다. OpenAI 팀은 모델의 안전한 행동을 보장하기 위해 많은 노력을 기울였으나, 적대적 공격이나 탈옥 프롬프트가 모델이 원치 않는 출력을 하도록 유도할 수 있다. 이미지에 대한 적대적 공격 연구는 많지만, 텍스트와 같은 이산 데이터에 대한 공격은 직접적인 기울기 신호 부족으로 인해 더 도전적이다.