노트북 내장 마이크 회의 녹음, STT 앞에 speech enhance 한 단을 끼우니 받아쓰기가 살아났다

노트북 내장 마이크로 딴 회의 녹음을 STT에 바로 넣으면 결과의 절반이 헛소리로 나왔다. 에어컨, 키보드 소리, 멀리 앉은 사람의 웅웅거림이 말소리를 덮어서 인식이 무너지는 거였다. 마이크를 사기 전에, STT 앞에 음성 향상(speech enhance) 단계를 한 겹 끼우면 얼마나 메워지는지 보고 싶었다.

전처리로 Adobe media enhance speech 사용

원본 녹음을 Adobe media enhance speech에 한 번 통과시키고, 그 출력을 STT에 넣는 구조로 바꿨다. 효과는 분명했다.

• 에어컨·키보드 같은 정상(stationary) 배경 소음이 눈에 띄게 줄고 말소리만 또렷해졌다. 받아쓰기 정확도가 체감으로 확실히 올라갔다.
• 다만 성격을 정확히 표현하면, 안 들리던 단어가 새로 생겨나는 게 아니라 소음에 묻혀 있던 단어가 위로 떠오르는 쪽이다. 애초에 마이크에 안 잡힌 음절은 enhance도 복원 못 한다.

비동기 폴링이라 긴 클립은 대기

API가 작업을 제출하고 상태를 폴링하는 비동기 구조다. 짧은 클립은 금방 끝나지만 1시간짜리 회의 녹음은 처리에 시간이 걸려서, 실시간 자막 같은 용도엔 안 맞고 사후 정리용에 맞는다.

enhance로 못 메우는 한계: 화자 분리

두 명 이상이 동시에 말하는 구간은 enhance를 거쳐도 STT가 그대로 헤맸다. 이건 음질 문제가 아니라 화자 분리(speaker separation) 문제라 향상 단계가 손댈 수 있는 영역이 아니다. 겹쳐 말하는 부분은 enhance를 해도 안 됐고, 여기는 diarization이 되는 STT를 쓰거나 회의 진행 방식 자체를 바꾸는 수밖에 없어 보였다.

정리

enhance 전처리는 "정상 배경 소음에 묻힌 단일 화자" 구간에서 가장 잘 먹혔고, 거기까지가 한계다. 동시 발화·근본적인 마이크 한계는 못 넘는다. 결국 전처리로 메울 수 있는 만큼 메우되, 빈번하게 쓸 회의라면 마이크 하나 사는 게 더 확실한 투자라는 결론에 도달했다.