LoRA를 활용한 SAS 비전 트랜스포머의 향상된 대조 학습

LoRA Enhanced Contrastive Learning with SAS Vision Transformers

자동 목표 인식(ATR)을 위한 합성 개구 소나(SAS)에서 DINOv3 비전 트랜스포머(ViT) 모델을 세 단계의 파라미터 효율적 프레임워크로 조정하였다. 첫 번째 단계에서는 Low-Rank Adaptation(LoRA)을 사용하여 ViT 백본을 고정하고, 두 번째 단계에서는 하드 네거티브 마이닝을 통해 의사 결정 경계를 강화하였다. 세 번째 단계에서는 감독 대조 학습(SupCon)을 통해 목표와 잡음 표현을 분리하였다. LoRA는 정밀도-재현율 곡선 아래 면적(AUPRC)을 0.300에서 0.679로 증가시켰으며, Rank 4는 0.26%의 가중치만으로 이 결과를 달성하였다. 추가적인 정제 단계는 효과가 미미하여, 하나의 효율적인 적응 단계만으로 충분함을 나타낸다.