약한 감독 하의 수화 인코더 재사용 가능성 연구
Gloss-Free Representation Learning for Cross-Dataset Sign Spotting
자원 제약 언어의 수화 연구는 밀집 언어적 레이블의 비용으로 제한된다. 방송 뉴스는 연속적인 수화와 음성 언어 전사로 구성된 대안을 제공하지만, 텍스트와 수화의 정렬이 느슨하여 감독이 약하다. 본 연구에서는 TSL-News라는 새로운 터키 방송 코퍼스를 사용하여 수화 인코더를 사전 학습하고, 수동 주석이 아닌 전사에서 파생된 pseudo-gloss 레이블을 비교하여 학습된 표현을 평가했다. LLM 지원 인코더는 top-5 시간적 로컬라이제이션의 평균 IoU를 0.235에서 0.465로 향상시켰으며, BLEU-4 점수는 9.60에서 11.04로 증가했다.
LLM 지원 인코더는 top-5 시간적 로컬라이제이션의 평균 IoU를 0.465로 향상시켰다.
원문 출처
arXiv cs.CL (계산언어학·NLP)