AI 뉴스

2021년 5월 Gwern.net 뉴스레터 요약

2021년 5월 Gwern.net 뉴스레터가 발행되었으며, 이전 뉴스레터는 2021년 4월에 발행되었다. 주요 내용으로는 TPUv4 AI 가속기 칩의 세부사항, ZeRO-Infinity의 GPU 메모리 한계 극복, MLP-Mixer 아키텍처의 성능 개선 등이 포함되어 있다. 또한, Anthropic이라는 공익 기업이 설립되었고, 1억 2,400만 달러의 투자를 받았다. 여러 연구 결과로는 이미지 합성에서 Diffusion Models가 GANs를 초월한 사례가 있으며, Grokking이라는 새로운 일반화 효과에 대한 논의도 포함되어 있다.

2021년 4월 Gwern.net 뉴스레터

2021년 4월 Gwern.net 뉴스레터가 발행되었으며, 주요 내용으로는 Naver의 204억 매개변수를 가진 한국어 신경망 'HyperCLOVA' 발표와 Huawei의 200억 매개변수 중국어 모델 'PanGu-α'의 프로토타입 출시가 포함된다. 또한 Google I/O 2021에서 100억 매개변수 Transformer 모델인 LaMDA(챗봇)와 MUM(다중 모달 검색/번역/Q&A) 발표가 있었다. Nvidia는 3072 A100 GPU에서 1조 매개변수 모델 훈련을 가능하게 하는 'Megatron-LM' 소프트웨어를 소개했다.

이 뉴스는 한국어 AI 모델 개발의 진전을 보여주며, 글로벌 AI 경쟁에서 한국의 위치를 강화할 수 있는 기회를 제공한다.

2020년 4월 gwern.net 뉴스레터

2020년 4월 gwern.net 뉴스레터의 내용으로, 이전 뉴스레터는 2020년 3월에 발행되었음을 알리고 있다. 자세한 내용은 gwern.net의 공식 버전을 참조할 수 있다.