AI 뉴스

Mastering LLMs: 실무 전문가들이 전하는 LLM 워크숍 및 강의

Mastering LLMs는 25명 이상의 산업 전문가들이 진행하는 워크숍 및 강의로, evals, retrieval-augmented-generation (RAG), fine-tuning 등 다양한 주제를 다룬다. 이 과정은 AI 제품 개발에 관련된 실용적인 주제에 초점을 맞추며, 누구나 무료로 참여할 수 있다. 40시간 이상의 콘텐츠가 제공되며, 각 주제별로 정리된 자료와 요약이 포함되어 있다. 기본적인 LLM에 대한 이해가 필요하며, 개인 프로젝트에 적용해보는 것을 추천한다.

생성 AI 플랫폼 구축의 공통 구성 요소

기업들이 생성 AI 애플리케이션을 배포하는 방식에서 유사성을 발견하였고, 이 글에서는 생성 AI 플랫폼의 공통 구성 요소와 그 기능, 구현 방법을 설명한다. 플랫폼은 간단한 아키텍처에서 시작하여 점차적으로 더 많은 구성 요소를 추가할 수 있으며, 각 단계에서 평가가 필요하다. 초기 단계에서는 모델에 외부 데이터 소스와 도구를 통해 컨텍스트를 강화하고, 시스템과 사용자를 보호하기 위한 가드레일을 추가하며, 복잡한 파이프라인을 지원하기 위해 모델 라우터와 게이트웨이를 추가하는 방식으로 발전한다. 또한, 관찰 가능성과 오케스트레이션은 플랫폼의 필수 요소로 언급된다.

컨텍스트 엔지니어링: 에이전트 시대의 새 핵심 역량 (상록 가이드)

컨텍스트 엔지니어링은 에이전트가 보는 토큰을 '최소한의 고신호(high-signal) 집합'으로 큐레이션하는 작업으로, 프롬프트 엔지니어링과 RAG를 모두 포함하는 상위 개념이다. 컨텍스트 아키텍처는 시스템 컨텍스트, 세션 컨텍스트, 메모리, 산출물(artifact), 온디맨드 검색의 다섯 계층으로 구성된다. 실무 원칙은 분명하다. 관련 청크를 긴 컨텍스트 한가운데 끼워 넣으면 '중간에서 길을 잃는(lost in the middle)' 현상이 생기므로, 50개를 높은 재현율로 검색한 뒤 재순위화(re-ranking)로 상위 5개만 추리는 편이 통째로 던지는 것보다 낫다. 코드 RAG라면 검색된 함수가 호출하는 다른 함수의 시그니처·정의와 인자 타입까지 자동으로 끌어와야 추론 정확도가 오른다. 도구도 마찬가지다. 5개면 되는데 40개를 주면 오히려 추론이 저하되므로, 계획(읽기)·실행(쓰기)·검증 단계별로 도구를 동적으로 제공한다. 토큰 수가 아니라 채움 비율(fill %)로 예산을 잡고 60%를 넘기 전에 선제적으로 압축하라.

에이전트 품질을 좌우하는 건 모델 선택이 아니라 무엇을 컨텍스트에 넣고 빼느냐이며, 이는 모든 LLM 앱에 보편적으로 적용된다.

오픈소스 영상 생성 2026 지형도, Wan·HunyuanVideo가 클로즈드 추격

2026년 오픈소스 영상 생성 모델은 자체 호스팅으로 클로즈드 모델을 추격하는 수준에 올랐다. Alibaba의 Wan 계열이 선두로, MoE(Mixture-of-Experts) 디퓨전 백본을 쓰는 Wan 2.2는 가장 시네마틱한 오픈 모델로 꼽히고, 2026년 4월의 Wan 2.7은 첫/마지막 프레임 제어, 9분할 이미지 입력, 5000자 프롬프트를 지원하며 Wan-Bench 2.0에서 선두를 차지한다. Tencent의 HunyuanVideo 1.5(2025년 11월)는 83억 파라미터로 RTX 4090 한 장에서 최대 75초 영상을 렌더링한다. 이 밖에 Lightricks의 경량 LTX-Video, Genmo의 Mochi 1, 휴먼 중심 SkyReels V1 등이 있다. 한국 개발자에게 중요한 점은 데이터 주권과 비용 통제다. API 종속이나 콘텐츠 정책 제약 없이 온프레미스·GPU 클라우드에서 영상 파이프라인을 직접 운용할 수 있고, 단일 GPU에서 돌아가는 모델이 늘어 진입 장벽도 낮아졌다.

단일 GPU로 돌릴 수 있는 오픈 모델이 늘어, API 종속 없이 데이터 주권과 비용을 통제하며 자체 영상 파이프라인을 구축할 수 있다

LLM의 외부 환각(Extrinsic Hallucination) 문제

대형 언어 모델에서의 환각은 모델이 제공된 맥락이나 세계 지식에 기반하지 않고 허위, 왜곡된, 일관성이 없는 내용을 생성하는 경우를 말한다. 환각은 크게 두 가지 유형으로 나뉜다: 1) 맥락 내 환각(In-context hallucination) - 모델 출력이 맥락 내 소스 내용과 일관해야 함. 2) 외부 환각(Extrinsic hallucination) - 모델 출력이 사전 훈련 데이터셋에 기반해야 함. 외부 환각을 방지하기 위해 LLM은 사실 기반이어야 하며, 알지 못하는 사실에 대해서는 이를 인정해야 한다.

외부 환각 문제를 해결하는 것은 LLM의 신뢰성을 높이고, 실제 응용에서의 정확성을 보장하는 데 중요하다.

DLSU 마닐라에서의 강의: 대규모 언어 모델 시대의 필리핀어 NLP 자원

Lj V. Miranda는 필리핀어 NLP 자원에 대한 강의를 진행했다. 그는 7B-70B 파라미터 범위의 대규모 모델과 약 100M 파라미터 범위의 저자원 언어 모델을 비교하며, '장인적' NLP와 '대규모' NLP의 차이를 설명했다. 또한, TLUnified-NER이라는 태그로그 NER 데이터셋을 구축했으며, 이는 공개 접근 가능하고 고품질이며 CoNLL 표준을 따른다. 이 데이터셋은 기존의 WikiANN 데이터셋보다 더 나은 성능을 보였다.

Mistral AI 파인튜닝 해커톤 2024 개최

Mistral AI는 2024년 6월 5일부터 30일까지 가상으로 진행되는 파인튜닝 해커톤을 발표했다.

성공적인 언어 모델 평가 기준과 사례

평가 기준(evals)은 연구 커뮤니티에 중요한 인센티브를 제공하며, 성공적인 평가 기준은 혁신적인 논문에서 사용되고 신뢰를 받는다. 최근 5년간 GLUE, SuperGLUE, MMLU, GSM8K, MATH, HumanEval 등이 성공적인 평가 기준으로 언급되었다. 성공적인 평가 기준은 명확한 성과를 보여야 하며, 예시 수가 충분하고, 이해하기 쉬워야 한다. 평가 기준의 품질이 낮으면 신뢰를 잃게 된다. 또한, 평가 기준은 의미 있는 작업을 측정해야 하며, 성과가 빠르게 포화되지 않아야 한다.

LLM 평가 기준의 변화와 문제점

최근 LLM의 성능이 평가 기준을 초과하면서, MMLU, GMS8k, HumanEval 등 소수의 기준으로 축소되었다. 그러나 이러한 기준의 신뢰성에 대한 우려가 커지고 있으며, 많은 연구자들이 모델의 직관적인 평가에 의존하고 있다. LLM은 Aquila2와 Qwen 모델을 포함하여 MATH와 GSM8k의 훈련 및 테스트 예제를 반복하는 경향이 있으며, GPT 모델은 훈련 데이터 컷오프 이전의 코딩 문제에서 더 나은 성능을 보인다. 또한, Mistral과 Phi 모델은 GSM8k와 비교해 GSM1k에서 10%의 성능 저하를 보였다.

신뢰할 수 있는 평가 기준의 부족은 LLM 개발 시 모델 성능을 객관적으로 평가하는 데 어려움을 초래한다.

개인 성장 측정 방법에 대한 고찰

창업자들은 비즈니스 성장 측정을 고민하며, 개인 성장 측정에 대한 논의가 있다. 개인 성장 측정의 세 가지 지표로는 변화율, 문제 해결 시간, 미래 선택의 수가 제시된다. 변화율은 3-6년 주기로 삶의 변화가 일어난다는 이론에 기반하며, 문제 해결 시간은 경력, 가족, 재정 문제를 해결하는 데 걸리는 시간을 통해 측정된다. 미래 선택의 수는 나이가 들수록 더 많은 꿈과 자원에 접근할 수 있다는 관점에서 설명된다.

개인 성장 측정 방법은 개발자들이 경력 개발 및 문제 해결 능력을 향상시키는 데 도움이 될 수 있다.

Command R+ 모델 출시 및 성능

2024년 8월 30일, Cohere의 Command R 및 R+ 모델이 업데이트되어 출시되었다. Command R+는 Chatbot Arena에서 최고의 오픈 웨이트 모델로 평가받으며, 일부 GPT-4 버전보다 성능이 우수하다. Command R+는 104B 파라미터로 구성되어 있으며, 로컬에서 111 토큰/초의 속도로 텍스트를 생성할 수 있다. 이 모델은 비상업적 라이선스를 갖고 있으며, 기업 사용을 위해 설계되었다. RAG(검색 기반 생성) 기능을 통해 신뢰할 수 있는 응답을 제공하며, 내부 평가에서 GPT4-turbo보다 우수한 성과를 보였다.

Adversarial Validation을 통한 AI 모델 드리프트 감지 방법

Adversarial Validation은 모델 입력이나 훈련 데이터의 갑작스러운 변화를 감지하는 간단하고 효과적인 방법이다. 이 방법은 두 개의 데이터셋을 비교하여 드리프트를 감지하며, 이진 분류기를 사용해 두 데이터셋의 차이를 식별한다. 예를 들어, OpenAI API를 사용하는 모델의 경우, ft_drift라는 CLI 도구를 통해 다중 턴 채팅 형식의 JSONL 파일 간 드리프트를 감지할 수 있다. 이 도구는 프롬프트 템플릿과 같은 토큰 기반 드리프트를 감지하며, 이를 통해 모델의 예기치 않은 동작의 원인을 빠르게 찾아낼 수 있다.

비디오 생성을 위한 확산 모델 연구

확산 모델은 이미지 합성에서 강력한 결과를 보여주었으며, 현재 연구 커뮤니티는 비디오 생성이라는 더 어려운 작업에 착수하고 있다. 비디오 생성은 이미지의 경우보다 더 많은 시간적 일관성을 요구하며, 이는 모델에 더 많은 세계 지식을 인코딩해야 함을 의미한다. 또한, 텍스트나 이미지에 비해 고품질의 고차원 비디오 데이터 및 텍스트-비디오 쌍을 수집하는 것이 더 어렵다.

AI 제품의 평가 시스템 구축 필요성

Hamel Husain은 LLM 제품의 성공과 실패를 평가 시스템의 견고함에 연결짓고 있다. 그는 Rechat의 AI 어시스턴트 Lucy의 사례를 통해, 평가를 중심으로 한 체계적인 접근이 AI 성능 개선에 필수적임을 강조한다. 평가의 세 가지 수준은 단위 테스트, 모델 및 인간 평가, A/B 테스트로 나뉘며, 각 수준의 비용과 실행 주기를 고려해야 한다.

효과적인 평가 시스템 구축은 AI 제품의 성능 개선과 지속적인 발전을 위한 필수 요소이다.

900개 인기 오픈소스 AI 도구 분석 결과

2026년 2월 기준, 오픈소스 AI 레포지토리 목록은 Good AI List에서 매일 업데이트되며, 현재 15,000개 이상으로 증가했다. 저자는 GitHub에서 'gpt', 'llm', 'generative ai' 키워드로 검색하여 896개의 레포를 발견했으며, 이 중 845개는 소프트웨어 레포지토리이다. AI 스택은 인프라, 모델 개발, 애플리케이션 개발의 3층 구조로 구성되며, 각 층은 특정 기능을 제공한다.

선택된 응답과 거부된 응답 간의 어휘적 차이 분석

LLM 훈련 파이프라인의 마지막 단계에서 선호 데이터는 필수적이다. RLHF 과정에서 보상 모델을 훈련하기 위해 선택된 모델 출력과 거부된 모델 출력을 쌍으로 보여준다. 이 블로그 포스트에서는 질적 측면 대신 문장 임베딩을 사용하여 선택된 응답과 거부된 응답 간의 어휘적 차이를 분석하는 접근 방식을 제안한다. 데이터셋으로는 OpenAI의 Summarize from Human Feedback, Stanford Human Preferences Dataset, Argilla의 Ultrafeedback, Tatsumoto Lab의 Alpaca Farm, Berkeley Nest Lab의 Nectar Dataset이 사용되었다. 문장 임베딩은 384차원으로 생성되었으며, 코사인 거리를 통해 선택된 벡터와 거부된 벡터 간의 거리를 측정하였다.

문장 임베딩을 통한 어휘적 거리 측정은 선호 데이터 생성 시 품질 기반 메트릭 대신 사용할 수 있는 새로운 방법을 제시한다.

예측적 인간 선호: 모델 라우팅을 통한 AI 모델 선택

예측적 인간 선호는 특정 쿼리에 대해 사용자가 선호할 모델을 예측하는 것을 목표로 한다. 이 접근법은 모델 라우팅에 활용될 수 있으며, 예를 들어 Claude Instant의 응답이 GPT-4보다 선호될 경우 해당 쿼리를 Claude Instant로 라우팅하여 응답 품질을 높이고 비용과 지연 시간을 줄일 수 있다. 또한, 모델의 성능을 다양한 프롬프트에서 분석하여 강점과 약점을 이해하는 데 도움을 줄 수 있다.

Gemini 1.5, MTOB 데이터셋에서 인간 수준 성능 기록

Gemini 1.5가 최근 MTOB라는 번역 데이터셋에서 인간 수준에 가까운 성능을 보였으며, 이를 통해 진정한 제로샷 기계 번역(true zero-shot MT)과 LLM이 새로운 언어를 배우는 방법에 대해 논의하고 있다. 저자들은 저자원 언어에 대한 기계 번역의 접근성을 높이기 위해 새로운 번역 기준이 마련되었음을 언급하며, WMT와 같은 회의에서 저자원 MT에 대한 공동 작업이 정기적으로 진행되고 있다고 설명한다. 또한, FLORES-200이 200개 언어에 대한 번역 데이터 범위를 확장했음을 알리고, 1000개 이상의 언어에 대한 MT 모델 훈련이 가능해졌음을 강조한다.

2024 AI 직업 시장의 변화와 연구 동향

최근 5년간 AI와 NLP 분야의 변화가 두드러지며, 연구가 더 응용 중심으로 이동하고 있다. 과거에는 기본 연구가 주를 이루었으나, 현재는 BERT 기반의 표현과 대형 언어 모델의 발전으로 연구와 응용 간의 격차가 줄어들고 있다. 스타트업에서의 경험이 박사 학위보다 더 빠른 기술 습득을 가능하게 하며, 연구자들은 안전하고 책임 있는 기술 사용에 대한 도전 과제를 고려해야 한다.

고품질 데이터의 중요성과 인간 주석의 역할

고품질 데이터는 현대 데이터 딥러닝 모델 훈련의 핵심 요소이다. 대부분의 작업별 레이블 데이터는 인간 주석에서 나오며, 이는 분류 작업이나 LLM 정렬 훈련을 위한 RLHF 레이블링에도 적용된다. 데이터 품질을 향상시키기 위한 다양한 ML 기법이 존재하지만, 인간 데이터 수집은 세부 사항에 대한 주의와 신중한 실행이 필요하다.

고품질 데이터 수집의 중요성을 인식하고 이를 위한 인력 배치와 자원 투입이 필요하다.

EMNLP 2023에서 열린 Big Picture Workshop의 주요 내용

EMNLP 2023에서 Big Picture Workshop이 개최되었으며, 다양한 연구 주제를 다룬 고품질 논문들이 제출되었다. 이 워크숍에서는 연구자들이 서로 다른 실험실에서 동일한 주제에 대해 의견을 나누고 통합하는 초청 강연이 진행되었고, 주제는 인-context 학습, 주의(attention)와 설명, 도덕성에 관한 것이었다. 인-context 학습에 대한 논의에서는 랜덤 레이블과 실제 레이블의 중요성에 대한 상반된 주장이 있었고, 주의 메커니즘의 유용성에 대한 평가가 이루어졌다. 또한, AI 모델에 도덕성을 가르치는 연구와 관련하여 새로운 데이터셋인 Value Kaleidoscope가 소개되었다.

AI 모델의 확률적 응답 생성 방식과 샘플링 기법

AI 모델은 확률적 특성을 가지며, 동일한 질문에 대해 서로 다른 응답을 생성할 수 있다. 이러한 특성은 창의적인 작업에 유리하지만, 사실 기반 작업에서는 일관성 부족과 환각을 초래할 수 있다. 모델의 응답 생성 과정은 샘플링(디코딩)으로 알려져 있으며, 샘플링 전략으로는 temperature, top-k, top-p 등이 있다. Temperature는 일반적인 토큰의 확률을 낮추고 희귀한 토큰의 확률을 높여 창의적인 응답을 생성하는 데 도움을 준다.

확률적 응답 생성 방식과 샘플링 기법을 이해하면 AI 모델의 성능을 개선하고, 사용자와의 상호작용에서 발생할 수 있는 혼란을 줄일 수 있다.

LLMs 시대의 NLP 연구 방향과 도전 과제

NLP 연구는 최근 1년간 패러다임의 변화를 겪었으며, 대규모 언어 모델(LLMs)의 효과가 입증되었다. 현재 대부분의 벤치마크에서 LLM이 최첨단 성능을 보이고 있지만, 이러한 모델의 미세 조정은 비용이 많이 들고, 몇몇 산업 연구소 외에서는 사전 훈련이 어렵다. 연구자들은 컴퓨팅 자원의 제약에 직면해 있으며, LLM이 아닌 분석이나 특정 주제에 집중해야 할 필요성이 제기되고 있다. 연구 방향으로는 LLM 시대의 연구 리뷰에서 영감을 받아 다섯 가지 주제를 강조하고 있다.

EMNLP 2023, 싱가포르에서 개최되는 NLP 컨퍼런스

EMNLP 2023이 12월 6일부터 10일까지 싱가포르에서 열리며, 주요 트렌드로는 instruction-tuned LMs와 LLMs의 광범위한 사용, LLM 기반 평가의 증가, 창의적인 프롬프트 사용, 다국어 연구의 증가가 있다. GenBench 워크숍은 NLP에서 일반화 연구를 촉진하고, NLP-OSS 워크숍은 오픈 소스 소프트웨어의 공유 문화를 강조한다. MRL 워크숍은 저자원 언어 개선을 위한 논의를 제공하며, QA에서 LLM의 환각 문제를 다루는 연구도 소개된다.