Главное
Расшифровка может передать каждое слово безупречно и всё равно приписать его не тому человеку — потому что распознавание речи и определение говорящего это разные задачи. Разделение по голосам строится на особенностях голоса, поэтому лучше всего оно работает с небольшим числом явно разных голосов, записанных одним микрофоном на примерно одинаковой громкости. Оно спотыкается на людях, говорящих одновременно, на тихих или присоединившихся позже участниках, и само по себе никогда не подставит настоящие имена — это вы добавляете потом.
Если вы открывали расшифровку разговора нескольких человек и обнаруживали, что половина реплик подписана не тем именем, — скорее всего, сами слова были распознаны верно. Проблема на уровень выше: в той части процесса, которая решает, кто говорил, а не что было сказано. Эта часть работает с другой информацией и ошибается по-другому, а почти всё, что определяет, получится ли разделить голоса, решается ещё на этапе записи — до того, как файл вообще попадёт в программу.
Разобраться в этом стоит, если вы собираетесь записывать интервью, дискуссию с несколькими участниками или семейный разговор и вам действительно важно знать, кто что сказал, а не только что было сказано. Часть решения — в том, куда вы поставите микрофон. Часть — в том, что нужно принять: некоторые ситуации никогда не расшифруются аккуратно, что бы вы ни использовали.
Две разные задачи в одном документе
Распознавание слов и определение того, кто их произнёс, — не одна и та же задача, даже если результат оказывается в одном файле. Первая задача слушает звук и разбирает язык — ей почти всё равно, чей это голос. Вторая задача слушает тот же звук и задаёт другой вопрос: этот голос совпадает с тем, что звучал два предложения назад, или это новый говорящий? На этот вопрос отвечают не слова, а особенности голоса — высота, тембр, темп речи, акустический «отпечаток» человека.
Именно поэтому расшифровка может быть безупречно точной по словам и всё равно перепутать, кто что сказал. Распознавание речи сработало. Разделение по голосам — нет. Эти две вещи могут отказать независимо друг от друга, и когда кто-то говорит, что расшифровка «неправильная», стоит разобраться, какая именно часть подвела, потому что исправлять это нужно по-разному.
Что нужно для хорошего разделения голосов
Разделение по голосам работает лучше всего с небольшим числом явно различающихся голосов, записанных одним микрофоном, который слышит всех примерно на одной громкости. Это идеальный случай: двое-трое участников, отчётливо разные голоса, одно записывающее устройство где-то там, откуда слышно всю комнату равномерно.
Любое отклонение от этой картины что-то стоит. Чем больше говорящих, тем выше шанс, что два голоса окажутся достаточно похожими, чтобы система их спутала. Похожие голоса — например, два человека примерно одного возраста и с похожим произношением — различить труднее, чем низкий голос и высокий. А если одного человека записывает микрофон намного громче, чем другого, система начинает воспринимать разницу в громкости как разницу между говорящими, хотя это не так.
Ничего экзотического тут нет. Это близко к тому, что заметил бы и человек, если бы закрыл глаза и просто слушал. Преимущество программы — в терпении и стабильности на протяжении часа записи, а не в каком-то дополнительном «слухе», которого нет у слушателя.
Где это ломается: когда люди говорят одновременно
Есть одна ситуация, которая надёжно ломает разделение по голосам, и никакая хорошая настройка записи здесь не спасает: настоящее одновременное говорение, когда два человека звучат в один и тот же момент. Во время такого пересечения нет чистого сигнала, принадлежащего одному голосу, — звук представляет собой смесь обоих, и приписать его кому-то одному просто нечему. Обычно происходит так: слова одного говорящего вливаются в реплику другого, и в расшифровке появляется одна сплошная фраза там, где на самом деле говорили двое одновременно.
Это не ошибка, которую можно потом исправить обновлением. Это ограничение, заложенное в саму природу задачи — разделить два перекрывающихся голоса обратно на два чистых потока после записи надёжно не получится. Честно можно рассчитывать только на то, что любой участок записи с реальным пересечением речи потребует ручной правки, либо так и останется подписан тем говорящим, на которого система решила «поставить». Если в вашем разговоре много перекрывающейся речи — жаркая дискуссия, спор за семейным столом, — заранее готовьтесь, что этот кусок расшифровки понадобится править вручную, и не судите по нему обо всём инструменте.
Расположение микрофона важнее, чем сам микрофон
Расстояние до микрофона влияет на разделение голосов сильнее, чем качество самого микрофона. Телефон, положенный посередине стола, обычно даёт лучшее разделение голосов, чем дорогой микрофон, стоящий рядом с одним конкретным человеком, — потому что тихих участников подальше от микрофона система теряет первыми. Если кто-то постоянно звучит намного тише остальных просто потому, что сидит дальше всех, этот разрыв в громкости может влиять на разделение голосов сильнее, чем любая разница в оборудовании.
Для разговора нескольких людей отсюда следует простое правило: ставьте записывающее устройство в центре, а не там, где удобнее. Середина стола, а не край рядом с тем, кто ведёт разговор. Если люди сидят не рядом друг с другом, а разбросаны по комнате, это сложный случай при любом оборудовании, и лучше знать это заранее, а не обнаруживать постфактум.
Как получить имена вместо «Говорящий 1», «Говорящий 2»
Ничто в самой записи не подскажет системе распознавания, как кого зовут — она может понять, что присутствуют два разных голоса, но у неё нет способа узнать, что одного из них зовут Ирина, а другого — Максим. Поэтому на выходе голоса подписываются условными метками: Говорящий 1, Говорящий 2 и так далее. Превратить их в настоящие имена — это ручной шаг, и сделать его нужно всего раз, в начале расшифровки, сопоставив каждую метку с именем.
Единственное, что превращает этот шаг из мучения в мелочь, — если каждый участник называет своё имя вслух в начале записи. Это занимает секунд десять и даёт чёткую точку опоры: вы точно знаете, что голос, который в начале говорит «это Максим», и есть тот, который нужно подписывать как Максим до конца документа. Если пропустить этот момент, придётся сопоставлять голоса с именами по памяти или по контексту — это работает, но занимает больше времени и тем сильнее подвержено ошибкам, чем больше участников.
Если вы записываете именно интервью, стоит сделать эту привычку частью того, как вы начинаете каждую запись, — подробнее о том, как правильно настроить это с первой минуты, смотрите в материале о расшифровке интервью. Если у вас уже есть готовая запись и нужно превратить её в текст с подписанными голосами, шаг самого преобразования разобран в материале про перевод аудио в текст, а приложение вроде SozAI умеет расставлять метки говорящих, делать краткие изложения и переводить на множество языков, когда запись уже готова, — подставить настоящие имена вместо меток всё равно придётся вам, но это самая быстрая часть работы.
Чего реально ожидать
Даже при хорошей настройке записи несколько ситуаций предсказуемо дают несовершенный результат, и лучше знать о них заранее, а не считать это провалом инструмента.
- Участник, который присоединяется к записи не с начала, когда система уже определилась со своими голосовыми профилями, часто просто добавляется к уже существующему говорящему, а не получает собственную новую метку.
- Человек, который за всю запись произносит буквально несколько слов — короткое «да», однострочный вопрос, — часто оказывается «приклеен» к тому, кто говорил рядом с ним, потому что его голоса недостаточно, чтобы система построила по нему отдельный профиль.
- Настоящая перекрывающаяся речь, как описано выше, обычно сливается в реплику одного из говорящих.
- Большая группа с множеством похожих голосов даёт больше ошибок в подписях, чем небольшая группа с явно разными голосами, — просто потому что больше шансов на путаницу.
Ничто из этого не повод отказываться от расшифровки сложной записи — это повод рассчитывать на короткую ручную правку именно тех участков, где возникли эти ситуации, а не перепроверять весь документ целиком. Если вы записываете что-то, где заведомо будет такая сложность, заранее стоит решить, нужна ли вам расшифровка каждого слова или достаточно подписанных ключевых моментов; расшифровывать всё подряд не всегда имеет смысл, особенно для длинных записей, где важно в первую очередь понять, кто на что согласился, — это тот случай, который разбирается в материале о превращении записей в протокол встречи. А если хочется сначала проверить, как конкретная запись подпишется по голосам, прежде чем загружать длинный файл, — возьмите приложение на странице загрузки и прогоните короткий отрывок: это скажет больше, чем любой общий совет.
Что действительно влияет на результат
Если из всего этого нужно вынести одну мысль, то вот она: запись важнее программы. Центрально расположенный микрофон, небольшое число явно разных голосов, все называют своё имя в начале, и готовность к тому, что перекрывающуюся речь придётся проверять вручную, — такое сочетание даст больше, чем любая настройка или функция, применённая после записи. Этап разметки говорящих действительно делает свою работу, но он работает с тем, что дала ему запись, и запись, сделанная с учётом разделения по голосам, всегда подпишется лучше, чем запись без этого учёта, — независимо от того, какая программа расшифровывает её потом.
