AI 뉴스

Prompt Engineering의 정의와 목표

Prompt Engineering, 또는 In-Context Prompting은 LLM과의 의사소통 방법으로, 모델 가중치를 업데이트하지 않고 원하는 결과를 유도하는 방법을 의미한다. 이는 경험적 과학이며, 프롬프트 엔지니어링 방법의 효과는 모델마다 크게 다를 수 있어 많은 실험과 휴리스틱이 필요하다. 이 글은 자가 회귀 언어 모델에 대한 프롬프트 엔지니어링에만 초점을 맞추고 있으며, 목표는 정렬과 모델 조정 가능성이다.

Transformer 아키텍처 개선 및 Version 2.0 발표

Transformer 아키텍처에 대한 많은 개선 사항이 제안되었으며, 2020년에 작성된 포스트를 기반으로 한 Version 2.0이 발표되었다. 이 버전은 이전 버전의 약 두 배 길이로, 섹션의 계층 구조가 재구성되고 최신 논문으로 여러 섹션이 개선되었다. 기본 Transformer 모델은 인코더-디코더 구조를 가지고 있으며, BERT와 GPT와 같은 언어 모델링 작업에서 뛰어난 성능을 보여준다.

대형 트랜스포머 모델 추론 최적화

대형 트랜스포머 모델은 현재 다양한 작업에서 최첨단 결과를 내고 있지만, 훈련과 사용에 매우 비용이 많이 듭니다. 특히 높은 추론 비용이 시간과 메모리 측면에서 큰 병목 현상을 초래하여 실제 작업에 대형 트랜스포머를 적용하는 데 어려움을 겪고 있습니다. 추론의 어려움은 모델 크기 증가 외에도 두 가지 주요 요인에 기인합니다.

트위터 440억 달러 거래 재개 및 메타버스에서의 만남

트위터의 440억 달러 거래가 다시 논의되고 있으며, Casey는 이에 대해 회의적인 입장을 보이고 있다. Kevin은 메타버스에서 친구를 찾고 있다. 또한, 'Hard Fork Transparency Report'가 처음으로 공개되었다.

Hard Fork 팟캐스트 소개

‘Hard Fork’는 Kevin Roose와 Casey Newton이 진행하는 팟캐스트로, 기술의 진실과 과대 광고를 탐구한다. 매주 금요일 방송되며, nytimes.com/podcasts, Apple Podcasts, Spotify 및 기타 팟캐스트 앱에서 구독할 수 있다. 또한, The New York Times 앱을 통해 팟캐스트와 내레이션된 기사를 다운로드할 수 있다.

Neural Tangent Kernel(NTK)의 정의와 신경망 훈련 과정

신경망은 과도하게 매개변수가 설정되어 있으며, 훈련 손실이 거의 0에 가까운 데이터에 잘 적합할 수 있다. Neural Tangent Kernel(NTK)은 신경망의 훈련 중 진화를 설명하는 커널로, 충분한 너비를 가진 신경망이 경험적 손실을 최소화하도록 훈련될 때 글로벌 최소값으로 수렴할 수 있는 이유에 대한 통찰을 제공한다. 이 글에서는 NTK의 동기와 정의, 무한 너비의 신경망 초기화에 따른 결정론적 수렴 증명에 대해 다룬다.

NTK의 이해는 신경망의 훈련 과정에서 수렴 특성을 분석하는 데 도움이 된다.

GPT-3를 활용한 복잡한 작업 해결을 위한 분해 실험

이 실험에서는 GPT-3를 사용하여 복잡한 장난감 작업을 해결하기 위해 분해(decomposition) 기법을 적용하였다. 실험의 목표는 실제 모델에서 분리된 인지(factored cognition)의 가능성에 대한 초기 증거를 제공하는 것이다. 합성 작업으로는 다양한 산술 작업을 선택하였으며, 산술 관련 작업 설정의 장점은 GPT-3가 간단한 수학 연산조차 수행할 수 없다는 점이다.

GPT-3/Neo/J의 다중 선택 과제 평가를 위한 정규화 방법

GPT-3/Neo/J와 같은 자가 회귀 언어 모델에서 다중 선택 과제를 평가하는 여러 방법이 존재하며, 이 글에서는 현재 널리 사용되는 정규화 방법들을 설명한다.

2021년 5월 Gwern.net 뉴스레터 요약

2021년 5월 Gwern.net 뉴스레터가 발행되었으며, 이전 뉴스레터는 2021년 4월에 발행되었다. 주요 내용으로는 TPUv4 AI 가속기 칩의 세부사항, ZeRO-Infinity의 GPU 메모리 한계 극복, MLP-Mixer 아키텍처의 성능 개선 등이 포함되어 있다. 또한, Anthropic이라는 공익 기업이 설립되었고, 1억 2,400만 달러의 투자를 받았다. 여러 연구 결과로는 이미지 합성에서 Diffusion Models가 GANs를 초월한 사례가 있으며, Grokking이라는 새로운 일반화 효과에 대한 논의도 포함되어 있다.

2021년 4월 Gwern.net 뉴스레터

2021년 4월 Gwern.net 뉴스레터가 발행되었으며, 주요 내용으로는 Naver의 204억 매개변수를 가진 한국어 신경망 'HyperCLOVA' 발표와 Huawei의 200억 매개변수 중국어 모델 'PanGu-α'의 프로토타입 출시가 포함된다. 또한 Google I/O 2021에서 100억 매개변수 Transformer 모델인 LaMDA(챗봇)와 MUM(다중 모달 검색/번역/Q&A) 발표가 있었다. Nvidia는 3072 A100 GPU에서 1조 매개변수 모델 훈련을 가능하게 하는 'Megatron-LM' 소프트웨어를 소개했다.

이 뉴스는 한국어 AI 모델 개발의 진전을 보여주며, 글로벌 AI 경쟁에서 한국의 위치를 강화할 수 있는 기회를 제공한다.

2020년 4월 gwern.net 뉴스레터

2020년 4월 gwern.net 뉴스레터의 내용으로, 이전 뉴스레터는 2020년 3월에 발행되었음을 알리고 있다. 자세한 내용은 gwern.net의 공식 버전을 참조할 수 있다.