AI 뉴스

KURE-v2와 bge-m3, 한국어 RAG 임베딩의 실측 격차를 다시 본다

KURE-v2(고려대)와 bge-m3를 한국어 도메인 코퍼스에서 Recall@10으로 붙이면, 일반 위키·뉴스에선 bge-m3가 다국어 강건성으로 앞서지만 법률·의료처럼 한국어 고유 표현이 많은 도메인에선 KURE-v2가 5~9%p 앞서는 패턴이 반복된다. 핵심은 bge-m3의 dense·sparse·ColBERT 3중 출력을 하이브리드로 묶으면 단일 dense 대비 검색 누락이 줄지만, 한국어 형태소 경계가 깨진 토크나이저 위에서 sparse가 오히려 노이즈를 키운다는 점이다. 1024차원 bge-m3는 pgvector HNSW 인덱스 메모리를 적잖이 먹어, 도메인 적합도와 인프라 비용을 같이 저울질해야 한다.

화학 위생 가이드: 물, 공기, 음식 관리 방법

물 관리는 Reverse Osmosis 시스템을 통해 이루어져야 하며, 전체 주택 필터와 싱크대 아래 설치 시스템을 권장한다. 공기 관리를 위해 HVAC 필터와 공기 청정기를 설치하고, 연소를 피해야 하며, 공기 질 측정을 위한 장비 사용이 필요하다. 음식은 공급망이 복잡해 관리가 어려우며, 미국 정부의 규제가 부족하다는 점이 지적된다.

개발자들은 건강한 작업 환경을 위해 물과 공기 질 관리에 신경 써야 하며, 음식 선택 시 건강에 미치는 영향을 고려해야 한다.

Mistral Large 3, 675B 오픈웨이트 MoE로 플래그십 가격 80% 인하

Mistral이 2025년 12월 2일 Mistral 3 패밀리를 공개했고, 그 정점이 Mistral Large 3다. Mixtral 이후 처음 돌아온 MoE로, 총 675B·활성 41B 파라미터 구조다 — 41B 덴스 모델 수준의 연산 비용으로 675B의 용량을 끌어쓴다는 설계다. 라이선스는 Apache 2.0으로 가중치를 전면 공개했고, 14B·8B·3B 덴스 소형 모델도 함께 풀었다. 가격이 공격적이다. 입력 100만 토큰당 $0.50, 출력 $1.50로 주요 상용 플래그십 대비 약 80% 저렴하다. 컨텍스트는 256k, 멀티모달을 지원한다. 다만 절대 지능 점수는 냉정히 봐야 한다. Artificial Analysis Intelligence Index 23으로, 비추론(non-reasoning) 오픈웨이트 동급 중에서는 평균 이하이고 출력 속도(52 tok/s)도 평범하다. 대신 첫 토큰 지연(TTFT 1.11s)은 경쟁력 있고, 단일 8×A100/8×H100 노드 또는 Blackwell NVL72에서 vLLM으로 효율 구동하도록 최적화 체크포인트를 제공한다.

Large 3는 'frontier 점수'가 아니라 '단가×자체호스팅 가능성'으로 승부하는 모델이다. 비추론 워크로드(대량 분류·요약·추출)를 Apache 2.0 가중치로 자체호스팅하면, 토큰당 비용을 상용 API의 1/5 수준으로 떨어뜨릴 수 있다. 한국 빌더에게 시사점은 명확하다 — 모델 선택을 'IQ 순위표'가 아니라 워크로드 성격(추론 필요 여부)과 TCO로 나눠 봐야 한다. 추론이 필요 없는 파이프라인이라면 Large 3가 단가 면에서 가장 합리적인 오픈 옵션 중 하나다.

추론 엔진 vLLM·SGLang·TensorRT-LLM, 무엇을 언제 쓸까

자체 모델을 서빙할 때 어떤 추론 엔진을 고르느냐가 비용·지연·처리량을 모델 아키텍처보다 더 크게 좌우한다. vLLM은 빠른 기동과 폭넓은 모델 호환성이 강점이라 합리적인 기본값이다. SGLang은 RadixAttention(접두사 공유 KV 캐시 재사용), 커널 퓨전, 구조적 생성에 강해 공통 시스템 프롬프트나 RAG 접두사를 공유하는 워크로드, 구조화 출력에서 큰 이득을 낸다. TensorRT-LLM은 NVIDIA GPU에 깊게 최적화돼 최대 처리량을 노리지만 빌드·운영 복잡도가 높다. 실무 원칙은 단순하다 — 워크로드가 긴 공유 접두사를 자주 쓰면 SGLang을, 다양한 모델을 빠르게 띄워야 하면 vLLM을, 고정 모델로 극한 처리량이 필요하면 TensorRT-LLM을 검토한다. 어떤 경우든 자사 트래픽 패턴(입력/출력 길이 분포, 동시성)으로 직접 벤치마크해야 한다.

GPU 비용이 서비스 손익의 큰 축인 상황에서, 엔진 선택과 튜닝만으로 동일 하드웨어의 처리량을 배수로 끌어올릴 수 있다.

[상록] AI 에이전트 메모리 입문: 프로토타입과 프로덕션을 가르는 한 가지

LLM은 기본적으로 stateless다 — 매 호출이 백지에서 시작하므로, 세션을 넘어 맥락을 잇지 못하면 에이전트는 같은 실수를 반복한다. 2026년 실무에서 프로토타입과 프로덕션을 가르는 건 모델이 아니라 '기억하느냐'다. 핵심은 컨텍스트 엔지니어링 — 프롬프트뿐 아니라 메모리·도구·검색·상태까지 정보 환경 전체를 설계하는 것이다. 메모리는 단일 세션 안에서만 존재하는 in-context 메모리와, 트리거·날짜·주를 넘겨 살아남는 외부 메모리(DB·CRM·데이터 스토어)로 나뉜다. 좋은 메모리 페이로드는 작고, 타입이 명확하며, 비즈니스 키에 묶인다 — 고객 ID·활성 케이스 ID·현재 상태·마지막 의미 있는 이벤트·다음 결정에 필요한 최소 맥락만 저장한다. 검색·아카이브용 벡터 저장소는 pgvector로 시작해 지연이 문제될 때 Qdrant·Pinecone 등으로 갈아타는 식이 현실적이다.

메모리 설계는 에이전트 신뢰성의 토대이며, 작고 타입 명확한 외부 상태 저장이 한국 팀의 흔한 '세션마다 맥락 유실' 문제를 직접 해결한다.

Irving Finkel: 고대 문명과 홍수 신화 해독

Irving Finkel은 고대 언어 전문가이자 브리티시 뮤지엄의 큐레이터로, 메소포타미아 역사와 쐐기 문자 해독에 대한 전문성을 가지고 있다. 그는 수메르, 아카드, 바빌로니아, 아시리아의 쐐기 문자 판독 및 해석을 전문으로 하며, 성경의 노아 이야기보다 앞선 메소포타미아 홍수 이야기를 담고 있는 판을 연구하여 'The Ark Before Noah'라는 책과 다큐멘터리를 발표했다. 이 다큐멘터리에서는 판의 기술적 지침을 바탕으로 원형 방주를 만드는 과정을 담고 있다.

고대 문명과 언어의 해독은 인공지능과 데이터 분석 분야에서 역사적 데이터 처리 및 해석의 중요성을 보여준다.

OpenAI Codex SDK 정식 출시: Agents SDK 위에 '코드 실행 루프'를 표준화

OpenAI가 Codex를 단순 CLI 도구에서 임베드 가능한 SDK로 끌어올렸다. 핵심은 Responses API의 server-side tool로 들어간 코드 실행 컨테이너다. 모델이 패치를 생성하면 격리된 샌드박스에서 직접 apply·테스트·재시도하고, 실패한 diff를 다음 턴 컨텍스트로 되먹이는 루프가 SDK 레벨에서 돌아간다. 개발자는 exec_tool 하나만 붙이면 된다. 기존 Assistants API 시절 직접 짜던 '생성→로컬 적용→stderr 수집→재프롬프트' 보일러플레이트가 사라진 대신, 실행 환경이 OpenAI 호스팅 컨테이너로 고정돼 의존성·네트워크 정책을 세밀히 못 건드린다. gpt-5.1-codex가 기본 백엔드이며 reasoning effort를 high로 올리면 토큰이 빠르게 불어난다.

Gemini 3의 10년 전 Hacker News 토론 분석 프로젝트

Andrej Karpathy는 Gemini 3가 10년 후 Hacker News의 프론트 페이지를 환각하는 내용을 보고, 10년 전의 HN 프론트 페이지를 분석하기 위해 ChatGPT 5.1 Thinking을 활용했다. 그는 2015년 12월의 HN 프론트 페이지와 댓글 스레드를 수집하고, 이를 통해 과거의 예측과 실제 결과를 비교 분석하는 프로젝트를 진행하고 있다. 이 작업은 Opus 4.5를 사용하여 약 3시간 만에 완료되었으며, GitHub에 프로젝트 저장소가 있다.

Cursor Composer가 멀티파일 에이전트로 넘어가며 .cursorrules는 죽었다

Cursor가 Composer를 단순 멀티파일 편집에서 '에이전트 모드' 중심으로 재편하면서, 레거시 `.cursorrules` 단일 파일 방식을 사실상 폐기하고 `.cursor/rules/*.mdc` 디렉터리 기반 규칙으로 일원화했다. 핵심은 규칙에 `globs` 메타데이터를 붙여 파일 경로별로 조건부 주입하는 구조다. 가령 `apps/api/**`에는 NestJS 컨벤션만, `apps/web/**`에는 React 규칙만 컨텍스트에 들어간다. 전역 .cursorrules는 프로젝트가 커질수록 모든 요청에 무관한 규칙까지 토큰으로 밀어넣어 비용과 노이즈를 동시에 키웠는데, mdc의 `alwaysApply: false` + glob 매칭이 이 문제를 정면으로 친다. 단 마이그레이션은 자동이 아니라, 기존 한 덩어리 규칙을 도메인별로 쪼개 globs를 손으로 달아야 효과가 난다. 안 쪼개면 그냥 alwaysApply:true 한 장으로 남아 예전과 똑같다.

구글 Antigravity 공개: 에이전트가 에디터가 아니라 '워크스페이스'를 운전한다

구글이 Gemini 3 Pro를 기본 엔진으로 얹은 에이전트 우선 IDE Antigravity를 공개했다. VS Code 포크 위에서 자동완성을 돕는 코파일럿 모델이 아니라, 에디터·터미널·브라우저 세 표면을 에이전트가 직접 운전하는 구조다. 사용자가 태스크를 맡기면 에이전트가 계획(implementation plan)을 먼저 세우고, 코드를 쓰고, 터미널에서 빌드·테스트를 돌린 뒤, 내장 Chrome으로 실제 화면을 띄워 동작을 확인한다. 핵심은 결과물을 코드 diff가 아니라 'Artifacts'라는 검증 가능한 산출물(태스크 목록, 스크린샷, 브라우저 녹화)로 남긴다는 점이다. 에이전트의 작업을 사람이 코드 줄 단위가 아니라 산출물 단위로 리뷰하라는 워크플로 전환이다. 무료 프리뷰로 풀렸고 Claude Sonnet과 OSS 모델도 선택 가능하다.

Anthropic가 공개한 멀티에이전트 리서치 시스템의 토큰 경제학

Anthropic이 자사 Research 기능의 오케스트레이터-서브에이전트 구조를 공개했다. 리드 에이전트가 질의를 분해해 병렬 서브에이전트에 위임하고 결과를 종합하는 구조인데, 핵심은 성능이 아니라 비용 곡선이다. 단일 에이전트 대비 토큰을 약 15배 더 쓰며, 내부 평가에서 성능 분산의 80%가 토큰 총량으로 설명됐다. 즉 멀티에이전트는 '많이 읽고 많이 쓰는' 워크로드(넓은 탐색·병렬 검색)에서만 비용을 정당화하고, 의존성이 강하거나 공유 컨텍스트가 필수인 작업에선 오히려 손해다. 프롬프트에 위임 범위와 종료 조건을 명시하지 않으면 서브에이전트가 중복 검색을 폭주시킨다는 운영 교훈도 함께 실렸다.

stdio는 죽지 않았다: MCP 원격 전송이 Streamable HTTP로 수렴한 이유

MCP 전송 논쟁이 한 라운드 정리됐다. 초기의 HTTP+SSE 듀얼 엔드포인트 방식은 폐기되고 단일 /mcp 엔드포인트로 POST·스트리밍을 처리하는 Streamable HTTP가 원격 표준으로 자리잡았다. SSE 방식이 연결 상태를 서버가 길게 들고 있어야 해서 서버리스·로드밸런서 환경과 충돌했던 게 직접 원인이다. Streamable HTTP는 요청별로 일반 JSON 응답을 줄지 text/event-stream을 줄지 서버가 선택하고, Mcp-Session-Id 헤더로 세션을 잇기 때문에 스테이트리스 워커에도 얹기 쉽다. 그럼에도 stdio는 사라지지 않았다. 로컬 파일·DB·CLI에 붙는 데스크톱 서버에서는 네트워크 왕복도 인증 핸드셰이크도 없는 stdio가 여전히 가장 단순하고 빠르며, 원격은 OAuth 2.1 리소스 서버로 보호되는 멀티테넌트 SaaS형 서버의 몫으로 역할이 갈렸다.

실무에선 'stdio 로컬 / Streamable HTTP 원격' 이원 전략이 정답에 가깝다. Cloudflare Workers나 Vercel에 MCP 서버를 올릴 거면 SSE 예제는 버리고 처음부터 Streamable HTTP + 세션 헤더로 설계해야 재작성을 면한다.

Google Labs에서 Pomelli 베타 출시

Pomelli는 Google Labs와 DeepMind의 새로운 실험으로, 중소기업(SMB)을 위한 AI 마케팅 콘텐츠 생성 도구이다. 이 도구는 브랜드에 맞는 마케팅 콘텐츠를 만들 수 있도록 지원하며, Google Gemini와의 통합을 통해 3-4개월 내에 출시될 예정이다. Pomelli는 브랜드 DNA를 기반으로 하여 사용자에게 맞춤형 콘텐츠를 제공한다.

Pomelli의 출시는 한국의 중소기업들이 AI를 활용하여 마케팅 전략을 강화할 수 있는 기회를 제공한다.

Hermes 4.3 공개, 36B 분산학습 모델이 70B에 근접한다

Nous Research가 2025년 12월 3일 Hermes 4.3을 공개했다. 베이스는 ByteDance의 Seed-OSS-36B-Base이며, 36B 규모로 기존 Hermesundefined70B에 근접하거나 일부 지표를 넘는다. 학습은 Psyche 네트워크의 분산학습으로 이뤄진 프로덕션 분산학습 모델이다. Hermes 4(2025년 8월, 405B·70B·14B 패밀리)와는 별개 라인으로 표기된다.

vLLM, FP8 양자화로 추론 처리량 2배·VRAM 절반 달성한 프로덕션 서빙 표준

오픈소스 추론 엔진 vLLM이 2026년 프로덕션 LLM 서빙의 기본값으로 자리 잡았다. 핵심 최적화는 FP8 양자화로, 약 1.5~2배 처리량 향상과 약 50% VRAM 절감을 제공해 더 큰 모델을 단일 GPU에 올릴 수 있게 한다. `--kv-cache-dtype fp8` 옵션으로 KV 캐시를 FP8로 저장하면 메모리를 추가로 아낄 수 있다. 멀티 GPU 텐서 병렬과 결합하면 H100급 환경에서 비용 대비 처리량을 크게 끌어올린다. Q2 2026 로드맵은 GB200·B200·H200 클러스터에서 분산(disaggregated) 서빙과 와이드 전문가 병렬(expert parallelism)을 '광속'까지 밀어붙이고, 기본 커널을 자동 선택해 성능을 지속 모니터링하는 데 초점을 둔다. 자체 모델 호스팅을 검토하는 한국 팀에는 GPU 비용을 결정짓는 1순위 레버다.

FP8과 KV 캐시 최적화는 자체 LLM 서빙의 GPU 비용을 절반 가까이 좌우하므로, 인프라 의사결정의 핵심 변수다.

인간과 AI 지능 최적화 압력의 차이

동물 지능은 생존을 위한 본능적 드라이브와 사회적 상호작용을 기반으로 최적화되며, 자연 선택에 의해 강한 생존 휴리스틱을 발달시킨다. 반면, LLM(대형 언어 모델)은 인간 텍스트의 통계적 시뮬레이션을 통해 최적화되며, 사용자로부터의 피드백을 통해 더욱 세밀하게 조정된다. LLM은 생물학적 진화보다는 상업적 진화에 의해 형성되며, 다양한 작업을 수행하는 데 있어 동물보다 적은 일반 지능을 가진다.

Warner Music Group과 Stability AI, 음악 창작을 위한 책임 있는 AI 도구 개발 협력

2025년 11월 19일, Warner Music Group(WMG)과 Stability AI는 음악 창작에서 책임 있는 AI 사용을 증진하기 위한 협력 관계를 발표했다. 이들은 아티스트와 작곡가가 윤리적으로 훈련된 모델을 사용하여 실험하고 작곡할 수 있는 전문 도구를 개발할 예정이다. Stability AI의 Stable Audio 모델은 상업적으로 안전한 생성 오디오를 위해 라이센스된 데이터로만 훈련되었다. WMG는 70개국 이상에서 활동하며, Warner Chappell Music은 100만 개 이상의 저작권을 보유하고 있다.

AI의 새로운 프로그래밍 패러다임: 검증 가능성의 중요성

AI는 새로운 컴퓨팅 패러다임으로, 목표를 명시하고 경량 경량화 기법을 통해 신경망을 최적화하는 방식으로 프로그램을 작성할 수 있다. 이 새로운 패러다임에서 가장 중요한 특성은 검증 가능성으로, 검증 가능한 작업은 강화 학습을 통해 직접 최적화할 수 있다. 검증 가능성이 높은 작업은 자동화에 더 적합하며, 수학, 코드 작성, 퍼즐과 같은 작업은 빠르게 발전하는 반면, 창의적이고 전략적인 작업은 상대적으로 뒤처진다.

소형 모델은 대형 모델 양자화 레시피가 안 통한다: SLMQuant 벤치마크

온디바이스·엣지 배포가 늘면서 소형 언어모델(SLM)의 양자화가 핵심 과제가 됐는데, arXiv에 공개된 SLMQuant 논문은 흔한 가정 하나를 정면으로 반박한다. LLM에서 검증된 양자화 기법을 SLM에 그대로 옮기면 결과가 최적이 아니라는 것이다. 저자들은 SLM과 LLM이 양자화 민감도에서 근본적으로 다르다는 점을 보이고, SLM 압축 기법을 체계적으로 평가하는 첫 벤치마크를 제시했다. SLM은 고유한 구조적 특성과 학습 동역학 때문에 LLM 최적화 전략을 직접 이식하면 정확도 손실이 크다. 모바일 NPU 성능이 빠르게 오르며 4비트·8비트 양자화로 실시간 멀티모달 추론을 노리는 한국 개발자에게, 이 연구는 "대형 모델용 4비트 레시피를 작은 모델에 복붙하지 말라"는 실무 경고이자, SLM 전용 압축 설계 원칙의 출발점을 제공한다.

온디바이스 SLM 배포 시 LLM 양자화 기법을 그대로 쓰면 품질이 무너질 수 있다는 점을 실증해, 모바일·엣지 추론 설계의 가정을 바로잡는다.

AI 코딩 툴 사용 원칙과 Quadrants 모델

AI 코딩 툴을 사용할 때의 원칙으로, 특정 Quadrants 모델을 제시하고 있습니다. 이 모델은 4개의 구역으로 나뉘며, 각 구역은 다음과 같습니다: 1) High Impact Zone, 2) High Danger Zone, 3) Full Fun Vibe Coding Zone, 4) 'Parents at the party' Vibe Coding Zone. 각 구역은 코딩의 위험도와 재미를 기준으로 분류되며, AI 툴 사용 시 주의해야 할 점을 강조합니다.

NeurIPS 2025 연구 논문 시각화 및 주요 주제

NeurIPS 2025의 연구 논문이 발표되었으며, 이를 탐색할 수 있는 인터랙티브 시각화가 제공된다. 이 시각화는 Cohere의 생성 및 임베딩 모델을 활용하여 대규모 텍스트 아카이브를 탐색하며, 주요 주제로는 LLMs, 멀티모달리티, 강화 학습이 있다. 약 28%의 논문이 멀티모달리티를 주요 초점으로 하고, 13%는 강화 학습에 중점을 두고 있다. 또한, 약 766개의 논문이 추론을 핵심 주제로 다루고 있다.

Universal Music Group과 Stability AI, AI 음악 제작 도구 공동 개발 협력 발표

Universal Music Group(UMG)과 Stability AI는 2025년 10월 30일, 아티스트 중심의 AI 음악 제작 도구를 공동 개발하기 위한 전략적 제휴를 발표했다. 이 협력은 아티스트와 제작자의 요구를 반영하여 상업적으로 안전한 AI 음악 도구를 개발하는 데 중점을 두며, Stability AI의 연구팀이 UMG와 협력하여 새로운 녹음 및 작곡 개념을 탐색할 예정이다. UMG는 AI 혁신을 선도하며, 책임감 있게 훈련된 AI 기술을 통해 아티스트와 팬 간의 연결을 강화하고 있다.

2023년 케임브리지 대학교에서 컴퓨테이션, 인지 및 언어 박사 과정 시작

2021년에 박사 과정을 시작하기로 결심한 후, 4년간의 여정을 거쳐 2023년 가을에 케임브리지 대학교에서 컴퓨테이션, 인지 및 언어 박사 과정을 시작했다. 이 과정에서 NLP 연구와 관련된 여러 경험을 쌓았고, 미국과 캐나다의 대학에도 합격했다. 박사 지원 과정은 점점 더 경쟁이 치열해지고 있으며, 특히 머신러닝과 NLP 분야에서 많은 지원자들이 첫 저자 논문을 보유하고 있다.

On-Policy Distillation의 훈련 접근법

LLM은 입력 인식, 지식 검색, 계획 선택, 실행 능력 등 여러 기능을 결합하여 전문적인 성능을 발휘한다. 훈련 접근법은 크게 세 단계로 나뉜다: Pre-training, Mid-training, Post-training. Post-training에서는 On-policy training과 Off-policy training으로 나뉘며, On-policy training은 학생 모델의 샘플을 사용하고 Off-policy training은 외부 출처의 목표 출력을 모방한다. Off-policy training에서는 teacher 모델의 출력을 맞추는 distillation 기법을 사용할 수 있다.