핵심 요약
녹취록은 단어 하나하나는 정확해도 발화자를 잘못 표시하는 경우가 있습니다. 음성을 인식하는 작업과 그 음성을 특정 화자에게 배정하는 작업이 서로 다른 과정이기 때문입니다. 화자 구분은 목소리의 특성을 기준으로 이루어지므로, 뚜렷하게 다른 목소리를 가진 몇 명이 하나의 마이크로 비슷한 크기로 녹음됐을 때 가장 정확합니다. 반면 여러 사람이 동시에 말하거나, 목소리가 작거나 늦게 합류한 화자가 있으면 정확도가 떨어지고, 실제 이름은 애초에 알아낼 수 없어 이 부분은 나중에 직접 채워 넣어야 합니다.
여럿이 나눈 대화를 녹취록으로 풀었는데 절반 정도가 다른 사람 이름으로 잘못 표시되어 있던 경험이 있다면, 사실 단어 자체는 대부분 맞았을 가능성이 큽니다. 문제는 그보다 한 단계 앞, 즉 ‘누가 말했는가’를 판단하는 과정에서 생깁니다. 이 과정은 ‘무엇을 말했는가’와는 전혀 다른 정보를 바탕으로 작동하고, 실패하는 방식도 다릅니다. 그리고 이 과정이 잘 작동할지는 소프트웨어가 파일을 처리하기 전, 즉 녹음하는 순간에 거의 결정됩니다.
인터뷰나 패널 토론, 가족 모임 대화를 녹음할 계획이 있고, 무엇을 말했는지뿐 아니라 누가 말했는지까지 정확히 알아야 한다면 이 내용을 알아두는 게 좋습니다. 일부는 마이크를 어디에 두느냐의 문제이고, 일부는 아무리 좋은 도구를 써도 특정 상황에서는 화자 구분이 깔끔하게 되지 않는다는 사실을 받아들이는 문제입니다.
서로 다른 두 가지 작업이 하나의 녹취록에 담긴다
말을 인식하는 작업과 그 말을 한 사람을 판단하는 작업은 같은 문서에 결과가 담기지만 실제로는 전혀 다른 작업입니다. 첫 번째 작업은 소리를 듣고 언어를 파악하는 일로, 누구의 목소리인지는 크게 신경 쓰지 않습니다. 두 번째 작업은 같은 소리를 듣고 다른 질문을 던집니다. ‘이 목소리가 두 문장 전의 그 목소리와 같은가, 아니면 새로운 화자인가?’ 이 질문에 대한 답은 말의 내용이 아니라 음높이, 톤, 말의 리듬 같은 목소리의 특성, 즉 그 사람만의 음성적 지문에서 나옵니다.
그래서 녹취록은 단어 하나하나가 정확한데도 발화자 표시가 틀릴 수 있습니다. 음성 인식은 성공했지만 화자 구분은 실패한 경우입니다. 두 작업은 서로 독립적으로 실패할 수 있으므로, 누군가 녹취록이 ‘틀렸다’고 말할 때는 실제로 어느 작업이 실패했는지 확인해볼 필요가 있습니다. 원인에 따라 해결 방법이 달라지기 때문입니다.
화자 구분이 잘 되는 조건
화자 구분은 서로 뚜렷하게 다른 목소리를 가진 소수의 사람이, 모두를 비슷한 크기로 들을 수 있는 하나의 마이크 위치에서 녹음됐을 때 가장 정확합니다. 두세 명, 뚜렷하게 다른 목소리, 방 전체를 골고루 들을 수 있는 자리에 놓인 녹음기 하나. 이것이 이상적인 조건입니다.
이 조건에서 벗어날수록 정확도는 떨어집니다. 화자가 많아지면 두 목소리가 비슷하게 들려 서로 섞일 가능성이 커집니다. 나이나 억양이 비슷한 두 사람처럼 목소리가 서로 비슷하면, 낮은 목소리와 높은 목소리를 구분하는 것보다 훨씬 어렵습니다. 그리고 한 사람이 다른 사람보다 훨씬 크게 녹음되면, 시스템은 그 음량 차이를 화자의 차이로 오해하기 시작합니다. 실제로는 그렇지 않은데도 말입니다.
이런 특징은 특별한 게 아닙니다. 사람이 눈을 감고 그냥 듣기만 해도 알아챌 만한 것들입니다. 소프트웨어가 가진 장점은 한 시간 분량의 음성을 끝까지 지치지 않고 일관되게 듣는다는 점이지, 사람에게 없는 특별한 감각이 있는 게 아닙니다.
한계가 드러나는 지점: 동시에 말하는 상황
아무리 녹음 환경을 잘 갖춰도 반드시 화자 구분이 깨지는 상황이 하나 있습니다. 두 사람이 정말로 같은 순간에 동시에 말하는 경우입니다. 이렇게 겹치는 구간에는 한 사람의 목소리만 담긴 깨끗한 신호가 존재하지 않습니다. 음성은 두 사람의 목소리가 섞인 상태이고, 이를 명확하게 한쪽에 배정할 방법이 없습니다. 대개는 한 사람의 말이 다른 사람의 발화 구간에 그대로 포함되어, 실제로는 두 사람이 동시에 말한 부분이 마치 한 사람이 이어서 말한 것처럼 표시됩니다.
이건 나중에 고치면 되는 사소한 오류가 아니라, 문제의 본질 자체에서 비롯된 한계입니다. 이미 섞여버린 두 목소리를 사후에 다시 깨끗한 두 개의 음성으로 되돌릴 방법은, 신뢰할 수 있는 수준에서는 존재하지 않습니다. 실제로 겹치는 구간이 있는 녹음이라면 그 부분은 사람이 직접 손을 봐서 누가 말했는지 정리해야 하거나, 시스템이 추정한 대로 그냥 남을 수밖에 없다고 생각하는 게 현실적입니다. 열띤 패널 토론이나 다투듯 이야기하는 가족 식사 자리처럼 서로 말이 겹치는 일이 많은 대화라면, 그 부분은 수동으로 고쳐야 한다고 미리 예상하고, 그 구간 하나로 도구 전체를 평가하지 않는 게 좋습니다.
마이크 종류보다 위치가 더 중요하다
마이크와의 거리는 마이크 자체의 성능보다 화자 구분에 더 큰 영향을 줍니다. 탁자 한가운데에 놓인 휴대폰이, 한 사람 옆에 놓인 더 좋은 마이크보다 오히려 화자 구분을 더 정확하게 해내는 경우가 많습니다. 목소리가 작거나 마이크에서 멀리 떨어진 참가자가 바로 시스템이 가장 먼저 놓쳐버리는 대상이기 때문입니다. 누군가가 마이크에서 멀리 앉아 있어서 다른 사람들보다 계속 작게 녹음된다면, 그 음량 차이가 장비 차이보다 화자 구분에 더 큰 영향을 미칠 수 있습니다.
여러 명이 함께하는 대화라면 규칙은 단순합니다. 녹음기를 편한 자리가 아니라 중심이 되는 자리에 두는 것입니다. 진행자와 가장 가까운 끝자리가 아니라 탁자 한가운데입니다. 사람들이 한자리에 모여 앉지 않고 방 이곳저곳에 흩어져 있다면, 장비와 무관하게 훨씬 어려운 상황이 되므로, 녹음을 시작하기 전에 이 점을 미리 알아두는 게 나중에 당황하지 않는 방법입니다.
‘화자 1’, ‘화자 2’ 대신 실제 이름 얻기
음성 자체에는 이름 정보가 전혀 담겨 있지 않습니다. 시스템은 서로 다른 두 목소리가 있다는 것은 알 수 있지만, 그중 한 명이 ‘수진’이고 다른 한 명이 ‘민호’라는 사실은 알 방법이 없습니다. 그래서 결과물에는 화자 1, 화자 2처럼 익명의 식별자가 붙습니다. 이걸 실제 이름으로 바꾸는 일은 사람이 직접 해야 하는 작업이며, 녹취록 맨 앞부분에서 각 라벨을 이름과 한 번만 맞춰주면 됩니다.
이 작업을 귀찮지 않게 만드는 가장 쉬운 방법은, 녹음을 시작할 때 모두가 자기 이름을 소리 내어 말하도록 하는 것입니다. 10초 정도면 충분하고, 이렇게 하면 확실한 기준점이 생깁니다. 녹음 초반에 ‘저는 민호입니다’라고 말한 목소리가 이후 문서 전체에서 민호로 표시해야 할 목소리라는 것을 바로 알 수 있습니다. 이 과정을 건너뛰면 기억이나 대화 맥락에 의존해서 목소리와 이름을 맞춰야 하는데, 가능하긴 하지만 시간이 더 걸리고 화자가 많아질수록 실수할 가능성도 커집니다.
특히 인터뷰를 녹음한다면 이런 습관을 매 세션 시작 방식에 넣어두는 게 좋습니다. 첫 순간부터 잘 설정하는 방법은 인터뷰 녹취 관련 내용을 참고하세요. 이미 완성된 녹음을 화자가 표시된 텍스트로 바꾸는 실제 변환 단계는 음성을 텍스트로 변환하는 방법에서 다루고 있습니다. 그리고 SozAI 같은 녹취 앱을 쓰면 녹음 파일 하나만 있으면 화자 구분, 요약, 여러 언어 간 번역까지 처리할 수 있습니다. 다만 화자에게 실제 이름을 붙이는 일은 여전히 사용자가 해야 하는데, 그 부분이 오히려 가장 빨리 끝나는 작업입니다.
현실적으로 기대해야 할 것들
녹음 환경을 잘 갖춰도 몇 가지 상황에서는 결과가 완벽하지 않을 수밖에 없습니다. 이를 실패로 여기기보다는 미리 알고 있어야 할 특징으로 받아들이는 게 낫습니다.
- 녹음이 이미 시작되고 시스템이 목소리 프로필을 어느 정도 정한 뒤에 합류한 화자는 새로운 라벨을 받지 못하고 기존 화자 중 한 명에게 합쳐지는 경우가 많습니다.
- 녹음 전체에서 몇 단어밖에 말하지 않은 사람, 예를 들어 짧은 동의나 한 줄짜리 질문을 한 사람은 시스템이 별도의 음성 프로필을 만들 만큼 목소리 데이터가 충분하지 않아서 주변 화자에게 합쳐져 버리는 경우가 흔합니다.
- 앞서 설명한 진짜 겹치는 발화는 대개 한쪽 화자의 발화 구간으로 합쳐집니다.
- 비슷하게 들리는 목소리가 많은 대규모 그룹은, 목소리가 뚜렷하게 다른 소규모 그룹보다 혼동이 생길 가능성이 단순히 더 많기 때문에 잘못 표시되는 경우도 더 많습니다.
이런 특징들이 있다고 해서 복잡한 녹음을 녹취로 옮기는 걸 포기할 이유는 없습니다. 오히려 이런 부분이 발생하는 구간만 짧게 손보면 된다는 뜻이고, 문서 전체를 다시 확인해야 한다고 생각할 필요는 없습니다. 이런 복잡함이 예상되는 녹음이라면, 모든 단어를 다 녹취해야 하는지 아니면 화자가 표시된 핵심 부분만 있으면 되는지 미리 정해두는 것도 좋습니다. 특히 긴 녹음에서는 누가 무엇을 약속했는지만 알면 되는 경우가 많은데, 이런 활용법은 녹음을 회의록으로 만드는 내용에서 다루고 있습니다. 그리고 긴 파일을 통째로 맡기기 전에 특정 녹음에서 화자 구분이 어떻게 되는지 먼저 확인해보고 싶다면, 다운로드 페이지에서 앱을 받아 짧은 샘플부터 돌려보는 것이 어떤 일반적인 조언보다 더 확실한 답을 줄 것입니다.
실제로 결과를 바꾸는 요인
이 글에서 하나만 기억해야 한다면, 소프트웨어보다 녹음 자체가 더 중요하다는 점입니다. 중앙에 놓인 마이크, 뚜렷하게 구분되는 소수의 목소리, 시작할 때 모두가 이름을 말하는 습관, 그리고 겹치는 발화는 결국 사람이 손을 봐야 한다는 사실을 받아들이는 것. 이 조합이 이후에 어떤 설정이나 기능을 조정하는 것보다 훨씬 더 큰 차이를 만듭니다. 화자 구분 작업 자체는 제 역할을 하지만, 결국 주어진 녹음 재료로만 일할 수 있습니다. 화자 구분을 염두에 두고 녹음한 파일은, 이후에 어떤 프로그램으로 녹취를 돌리든 그렇지 않은 녹음보다 항상 더 정확하게 라벨링됩니다.
