AI 리서치·논문
EMNLP 2023, 싱가포르에서 개최되는 NLP 컨퍼런스
EMNLP 2023이 12월 6일부터 10일까지 싱가포르에서 열리며, 주요 트렌드로는 instruction-tuned LMs와 LLMs의 광범위한 사용, LLM 기반 평가의 증가, 창의적인 프롬프트 사용, 다국어 연구의 증가가 있다. GenBench 워크숍은 NLP에서 일반화 연구를 촉진하고, NLP-OSS 워크숍은 오픈 소스 소프트웨어의 공유 문화를 강조한다. MRL 워크숍은 저자원 언어 개선을 위한 논의를 제공하며, QA에서 LLM의 환각 문제를 다루는 연구도 소개된다.
NeurIPS 2023, 3586편 논문 발표 및 NLP 관련 주요 트렌드
NeurIPS 2023이 12월 10일부터 16일까지 뉴올리언스에서 개최된다. 3586편의 논문이 채택되었으며, 이 중 자연어 처리(NLP) 관련 20편의 논문이 주목받고 있다. 대부분의 NLP 연구는 대형 언어 모델(LLM)과 관련되어 있으며, LLM의 특성을 분석하기 위한 합성 설정이 증가하고 있다. 인간의 선호에 기반한 모델 정렬이 많은 주목을 받고 있으며, RLHF 개선에 대한 연구가 진행되고 있다. 인-context 학습에 대한 포괄적인 이해는 여전히 부족하며, 다양한 추론 작업의 성능 향상에 대한 연구도 이루어지고 있다.
LLMs 시대의 NLP 연구 방향과 도전 과제
NLP 연구는 최근 1년간 패러다임의 변화를 겪었으며, 대규모 언어 모델(LLMs)의 효과가 입증되었다. 현재 대부분의 벤치마크에서 LLM이 최첨단 성능을 보이고 있지만, 이러한 모델의 미세 조정은 비용이 많이 들고, 몇몇 산업 연구소 외에서는 사전 훈련이 어렵다. 연구자들은 컴퓨팅 자원의 제약에 직면해 있으며, LLM이 아닌 분석이나 특정 주제에 집중해야 할 필요성이 제기되고 있다. 연구 방향으로는 LLM 시대의 연구 리뷰에서 영감을 받아 다섯 가지 주제를 강조하고 있다.
OpenAI, GPT-5.4 mini 및 nano 출시; Mistral Small 4 모델 공개
OpenAI는 400k-token 컨텍스트 윈도우를 가진 GPT-5.4 mini와 nano를 출시했다. nano는 API 전용으로 고용량 분류 및 데이터 추출에 적합하지만 가격이 크게 인상되었다. Mistral은 119B의 총 모델 크기와 6B의 활성 모듈을 가진 Small 4 모델을 오픈소스로 공개하고, 기업이 맞춤형 모델을 훈련하거나 후속 훈련할 수 있도록 돕는 Forge를 발표했다. 또한, Meta는 Manus를 통해 Mac용 AI 에이전트를 출시하고, Nvidia는 NeMo 및 DLSS 5를 발표했다.
Twitter에서의 AI 연구자 경험과 팔로워 증가 분석
2022년 2월 20일 378명의 팔로워로 시작해 2023년 5월 7일 23.6k명의 팔로워에 도달했다. 83개의 주요 트윗을 작성했으며, 12.5k명의 새로운 팔로워가 트윗 후 24시간 이내에 증가했다. 가장 많은 팔로워를 유도한 트윗은 OpenAI 합류와 Google의 Research Scientist로 전환에 관한 것이었고, 각각 3.5k와 1.2k의 새로운 팔로워를 얻었다. 팔로워 수가 증가함에 따라 비활동적인 날에도 더 많은 팔로워를 얻는 경향이 있었고, 16k에서 23k 팔로워 사이에는 61%가 트윗을 하지 않은 날에 증가했다.
대형 언어 모델의 emergent abilities에 대한 논의
이 블로그 포스트에서는 대형 언어 모델의 emergent abilities에 대한 일반적인 주장을 검토한다. emergent abilities는 소형 언어 모델에는 없지만 대형 언어 모델에서 나타나는 능력으로 정의된다. 이러한 능력은 예측하기 어렵고, 훈련자가 명시적으로 지정하지 않는다. 성능 평가 지표에 따라 emergent abilities가 다르게 나타날 수 있으며, 예를 들어 정확한 일치 평가에서는 다단계 산술 문제에서 각 단계의 정확성이 중요하다. 그러나 부드러운 평가 지표를 사용할 경우 성능이 점진적으로 향상될 수 있다. 현재까지는 작은 모델을 사용하여 emergent 성능을 예측할 수 있는 방법이 충분히 연구되지 않았다.
성공적인 언어 모델 평가 기준과 사례
평가 기준(evals)은 연구 커뮤니티에 중요한 인센티브를 제공하며, 성공적인 평가 기준은 혁신적인 논문에서 사용되고 신뢰를 받는다. 최근 5년간 GLUE, SuperGLUE, MMLU, GSM8K, MATH, HumanEval 등이 성공적인 평가 기준으로 언급되었다. 성공적인 평가 기준은 명확한 성과를 보여야 하며, 예시 수가 충분하고, 이해하기 쉬워야 한다. 평가 기준의 품질이 낮으면 신뢰를 잃게 된다. 또한, 평가 기준은 의미 있는 작업을 측정해야 하며, 성과가 빠르게 포화되지 않아야 한다.
대형 언어 모델의 작동 원리에 대한 여섯 가지 직관
대형 언어 모델은 텍스트 데이터에서 다음 단어를 예측하는 방식으로 사전 학습되며, 이 과정에서 다수의 작업을 학습한다. 예를 들어, 문법, 감정 분석, 번역 등 다양한 자연어 처리 작업을 다음 단어 예측을 통해 수행할 수 있다. 또한, 입력-출력 관계 학습을 다음 단어 예측으로 변환하는 '컨텍스트 내 학습'이 가능하며, 이는 GPT-3 논문에서 처음 제안되었다. 마지막으로, 정보 밀도가 다른 토큰을 고려하여 언어 모델이 더 많은 시간을 갖고 사고할 수 있도록 하는 것이 중요하다.
OpenAI의 GPT-5.6 출시와 Claude Tag 기능 소개
OpenAI는 GPT-5.6의 제한된 미리보기를 출시했다. 이 모델은 Sol, Terra, Luna라는 세 가지 버전으로 나뉘며, 안전 아키텍처와 정부 조정 계층, 단계적 접근 전략을 포함하고 있다. Anthropic은 Claude Tag 기능을 도입하여 사용자가 명시적인 의미 마커로 프롬프트와 응답을 구조화할 수 있게 했다. General Intuition은 비디오 게임을 데이터의 새로운 경계로 보고, 게임 플레이가 의도, 인식, 행동을 실험할 수 있는 압축된 실험실 역할을 한다고 주장한다. Stratix Cup에서는 16개 모델이 전략을 작성하고 팀을 제어하며, Claude Opus 4.8이 GPT-5.5를 1-0으로 이겼다.
모델 증류 이해하기: 비싼 교사와 저렴한 학생
지식 증류는 비싼 교사(대형 모델)와 저렴한 학생(소형 모델) 간의 학습을 설명한다. 대형 모델은 높은 용량과 느린 속도를 가지며, 소형 모델은 빠르고 저렴하지만 일반적인 방식으로 훈련 시 능력이 떨어진다. 증류는 소형 모델이 원본 데이터셋뿐만 아니라 대형 모델의 행동에서 학습할 수 있는지를 묻는다. 즉, 소형 모델을 현실에 직접 훈련시키는 대신 대형 모델이 해석한 현실로 훈련시키는 방식을 사용한다.
NASA 2012년 보고서, 항공우주 공학의 우수성 요소
NASA의 2012년 보고서 "Elements of Engineering Excellence"는 2006년 MSFC Engineering 이사와의 논의에서 시작되었으며, 항공우주 공학에서의 우수성을 달성하는 방법에 대한 질문을 다룬다. 보고서는 NASA에서의 실패를 초래한 다섯 가지 조직적 요인을 제시한다: 1) "Hands-on" 접근에서 "insight/oversight"로의 변화, 2) 이상 현상에 대한 의문 제기 부족, 3) 비판적 사고 부족, 4) 권한의 분산, 5) 조직 및 기술적 복잡성. 특히 첫 번째 요인은 NASA 문화의 변화와 관련이 있으며, 기술적 우수성을 재확립할 필요성을 강조한다.
LLM 토크나이저와 의미 검색 과정 및 책 업데이트
Jay Alammar는 Deeplearning AI에서 LLM을 활용한 의미 검색 과정과 관련된 비디오를 제작했다. 이 과정에서는 LLM의 기본 원리, ReRank 도구를 통한 키워드 검색 개선, 임베딩을 활용한 Q&A 기능 향상 등을 다룬다. 또한, O'Reilly 플랫폼에서 'Hands-On Large Language Models'의 초기 버전이 제공되며, 현재 5개의 챕터가 포함되어 있다. 책의 다음 업데이트에서는 'A Look Inside Transformer LLMs'라는 제목의 챕터가 포함될 예정이다.
Hands-On Large Language Models 책 출간
'Hands-On Large Language Models'가 LLM-book.com에서 출간되었으며, Amazon과 O'Reilly에서 구매할 수 있다. 이 책은 약 425페이지로 구성되어 있으며, 300개의 원본 그림이 포함되어 있다. 책은 세 부분으로 나뉘어 있으며, 첫 번째 부분에서는 대형 언어 모델의 작동 방식을 설명하고, 두 번째 부분은 다양한 사용 사례에 초점을 맞추며, 세 번째 부분은 모델을 미세 조정하려는 고급 사용자들을 위한 내용이다. 책의 코드 예제는 GitHub에서 확인할 수 있다.
O'Reilly Media와 함께하는 'Hands-On Large Language Models' 저자 공동 집필
Maarten Grootendorst와 함께 'Hands-On Large Language Models'를 공동 집필하고 있으며, O'Reilly Media에서 출판될 예정이다. 이 책은 언어 모델을 활용한 텍스트 이해 및 생성에 대한 주요 직관을 시각적으로 설명할 계획이다. 개발자들이 필요로 하는 실용적인 사용 사례(분류, 의미 검색, 주제 모델링, 텍스트 생성, 프롬프트 엔지니어링)를 다룰 예정이며, 이후에는 기본 모델과 훈련 방법에 대한 여러 장이 이어질 것이다.
DeepSeek, 20일 만에 500억 달러로 평가액 3배 증가
DeepSeek의 평가액이 20일 만에 500억 달러로 3배 증가했다. Zongming She는 DeepSeek이 화웨이와 유사한 사명을 가지고 있으며, 외부 제약에 맞서 국내 역량을 투자해야 한다고 주장했다. DeepSeek V4는 화웨이의 Ascend 칩과의 최적화를 통해 국내 대형 언어 모델과 컴퓨팅 파워 간의 '칩-모델 파트너십'의 역사적인 돌파구를 마련했다고 설명했다. 또한, DeepSeek의 급격한 평가액 증가는 중국의 독립적인 AI 필요성과 관련이 있으며, 중국 통합 회로 산업 투자 기금의 투자 관심이 주요 요인으로 지목되었다.
중국의 기술 자립을 위한 외국 기술 의존도 비율 변화
중국은 2020년까지 외국 기술 의존도 비율(FTD)을 30%로 줄이는 목표를 세웠으나, 2016년 정부는 FTD 사용을 중단했다. 이는 FTD가 '오해의 소지가 있다'는 이유에서다. 새로운 연구에서는 글로벌화가 기술 자립성을 평가하는 데 도전 과제를 제기하고 있으며, 특히 알리바바와 같은 기업들이 외국 투자자와 비중국인 경영진에 의해 운영되는 경우, 이들이 자국의 혁신으로 간주되지 않을 수 있음을 지적하고 있다.
ChinAI 25회차: 중국 AI 생태계 최신 동향
ChinAI의 25번째 에피소드에서는 중국 AI 스타트업 ModelBest에 대한 심층 분석, ByteDance의 AI 슈퍼앱 Doubao의 유료 구독 도입, 젊은 AI 전문가들이 전 직장으로부터 법적 청구를 받는 사례, CAICT의 AI 안전 벤치마크 결과 발표, AI로 생성된 PPT의 수요에 대한 논의, 그리고 우한의 AI 에이전트 채택 촉진 이니셔티브 등을 다루고 있다.
AI를 위한 웹 데이터 인프라 계층의 필요성
AI의 발전에 따라 기업은 대규모 데이터 접근이 필요하지만, 많은 정보가 차단되거나 비구조적이어서 AI 모델의 활용이 제한된다. 새로운 웹 데이터 인프라 계층은 수억 개의 웹 도메인과 매주 생성되는 수십억 개의 URL을 탐색하고 실시간 정보를 제공해야 한다. AI 성능은 모델 아키텍처뿐만 아니라 데이터 검색 및 엔지니어링 능력에 의존하며, 실시간 정보 접근이 필수적이다. 많은 기업이 실시간 웹 데이터 인프라에 의존하고 있지만, 90%는 다양한 제약으로 어려움을 겪고 있다.
Mistral AI 파인튜닝 해커톤 2024 개최
Mistral AI는 2024년 6월 5일부터 30일까지 가상으로 진행되는 파인튜닝 해커톤을 발표했다.
LLM 추론의 비결정성 문제
대형 언어 모델(LLM)에서 재현 가능성은 과학적 진보의 기반이지만, 재현 가능한 결과를 얻기 어렵다. 예를 들어, ChatGPT에 동일한 질문을 여러 번 하면 다른 결과가 나올 수 있다. 온도를 0으로 조정해도 LLM API는 여전히 실제로 비결정적이다. 비결정성의 한 가설은 부동 소수점 비결정성과 동시 실행의 조합이 원인이라는 것이다. 그러나 동일한 행렬 곱셈을 반복적으로 실행할 경우 결과가 항상 동일하다는 점에서 이 가설은 완전한 설명이 아니다.
AI의 새로운 프로그래밍 패러다임: 검증 가능성의 중요성
AI는 새로운 컴퓨팅 패러다임으로, 목표를 명시하고 경량 경량화 기법을 통해 신경망을 최적화하는 방식으로 프로그램을 작성할 수 있다. 이 새로운 패러다임에서 가장 중요한 특성은 검증 가능성으로, 검증 가능한 작업은 강화 학습을 통해 직접 최적화할 수 있다. 검증 가능성이 높은 작업은 자동화에 더 적합하며, 수학, 코드 작성, 퍼즐과 같은 작업은 빠르게 발전하는 반면, 창의적이고 전략적인 작업은 상대적으로 뒤처진다.
인간과 AI 지능 최적화 압력의 차이
동물 지능은 생존을 위한 본능적 드라이브와 사회적 상호작용을 기반으로 최적화되며, 자연 선택에 의해 강한 생존 휴리스틱을 발달시킨다. 반면, LLM(대형 언어 모델)은 인간 텍스트의 통계적 시뮬레이션을 통해 최적화되며, 사용자로부터의 피드백을 통해 더욱 세밀하게 조정된다. LLM은 생물학적 진화보다는 상업적 진화에 의해 형성되며, 다양한 작업을 수행하는 데 있어 동물보다 적은 일반 지능을 가진다.
Sutton의 LLM 비판과 동물 학습 방식
Andrej Karpathy의 블로그에서 Sutton은 LLM이 'bitter lesson pilled'하지 않다고 주장하며, LLM이 인간 데이터에 의존하고 있어 인간 편향을 피할 수 없다고 지적한다. Sutton은 '고전주의자'로서 경험을 통해 학습하는 시스템을 강조하며, 동물의 학습 방식과 LLM의 차이를 설명한다. 그는 LLM이 인간의 감독 없이 학습하는 방식을 결여하고 있다고 비판하며, 강화 학습을 통한 상호작용이 중요하다고 주장한다.
AI 관련 투자와 컴퓨팅 수요 예측
2025년 1~3분기 동안 AI 관련 투자가 미국 실질 GDP 성장에 약 1% 기여했으며, 이는 IT 투자 기여도를 초과하는 수치이다. Kimi K2.6 모델을 기준으로, 현재의 칩으로는 초당 5억에서 200억 개의 출력 토큰을 생산할 수 있으며, 글로벌 추론 용량은 매년 3배 이상 증가하고 있다. 현재 수요는 초당 2억에서 40억 개의 토큰으로 추정되며, 연간 약 10배 성장할 것으로 보인다. 이러한 수요와 공급의 불균형은 컴퓨팅 자원의 부족을 초래할 가능성이 있다.