OncoNoteBERT: 실제 외래 종양학 노트를 위한 기초 표현 모델
OncoNoteBERT: A Foundation Representation Model for Natural Language Processing of Real-World Outpatient Oncology Notes
OncoNoteBERT는 21,564명의 폐암 및 두경부암 환자로부터 수집된 290,026개의 외래 종양학 노트를 기반으로 한 BERT 스타일 인코더이다. RadBERT와 PathologyBERT는 제로샷 평가에서 각각 113.04와 2035.03의 perplexity를 기록하며 부적합한 성능을 보였으나, OncoNote-RadBERT는 계속된 마스크 언어 모델 프리트레이닝을 통해 2.10의 perplexity로 가장 우수한 적합도를 보였다. OncoNoteBERT는 2.83의 perplexity를 기록하며 가장 효율적인 토큰화를 제공하고, 13개의 마스크 토큰 프로브 중 12개에서 임상적으로 수용 가능한 예측을 반환하였다.
OncoNoteBERT는 종양학 특화 토크나이저를 사용하여 효율적인 토큰화를 제공하며, 이는 종양학 NLP에서 인접 도메인 인코더를 적용하기 전에 표현 계층 설계가 중요함을 보여준다.
원문 출처
arXiv cs.CL (계산언어학·NLP)