데이터 제약 하의 다국어 지식 전이 방법
Multilingual Knowledge Transfer under Data Constraints via Lexical Interventions
다국어 언어 모델을 구축하기 위해서는 데이터가 부족한 언어에 대한 크로스링구얼 지식 전이가 중요하다. 목표 언어 데이터가 부족할 때, 과학적 추론, 상식 추론 및 세계 지식과 관련된 많은 다운스트림 작업에 필요한 지식은 주로 고자원 언어에서 획득해야 하며, 효과적인 지식 전이가 필수적이다. 기존의 크로스링구얼 지식 전이를 개선하는 방법은 대량의 병렬 데이터, 번역 시스템, 보조 모델 또는 추가 훈련 단계를 요구한다.
원문 출처
Apple Machine Learning Research