Распознавание речи и транскрибация аудио¶
Распознавание речи (automatic speech recognition, ASR; транскрибация аудио) — это технология преобразования звуковой записи в текст. Системы распознавания анализируют аудиосигнал, выделяют из него фонемы и слова и выдают текстовую расшифровку. Технология применяется для создания субтитров, протоколирования совещаний, обработки голосовых сообщений, анализа телефонных звонков и доступности аудиоконтента для людей с нарушениями слуха.
¶Принцип работы
Классический конвейер ASR-системы состоит из нескольких этапов:
- Предобработка. Аудиофайл нормализуется: удаляется шум, выравнивается громкость, при необходимости разделяются каналы (например, голос диктора и фоновая музыка).
- Извлечение признаков. Звуковой сигнал разбивается на короткие фрагменты (кадры) длительностью 20–30 мс, из каждого вычисляются спектральные коэффициенты — обычно MFCC (Mel-frequency cepstral coefficients) или фильтровые банки log-mel.
- Акустическая модель. Определяет, какие фонемы или субфонемные единицы соответствуют наблюдаемым признакам. В современных системах это нейронная сеть — обычно трансформер или гибрид HMM-DNN.
- Языковая модель. Оценивает вероятность последовательности слов: правильно ли составлены слова и грамматически ли связана фраза. Языковая модель помогает различать омофоны («мир» и «міръ» в старой орфографии, «дом» и «дома»).
- Декодер. Совмещает выводы акустической и языковой моделей и находит наиболее вероятную текстовую гипотезу. Ранее для этого использовался алгоритм Витерби, в нейросетевых моделях декодирование часто выполняется жадно или методом beam search.
Ключевая метрика качества — word error rate (WER, словесный уровень ошибок): отношение числа ошибок (подстановок, пропусков, вставок) к числу слов в эталонной расшифровке. Для чистой студийной записи крупные системы достигают WER 5–10 %, для телефонной связи и записей с сильным шумом показатель может превышать 30 %.
¶Основные подходы
¶Гибридные системы
До середины 2010-х годов преобладали гибридные модели: скрытые марковские модели (HMM) моделировали временную структуру речи, а нейросеть оценивала вероятности состояний. Требовались отдельные акустическая модель, языковая модель и словарь произношений.
¶End-to-end модели
С конца 2010-х годов на смену гибридам пришли end-to-end системы, обучаемые от сырого аудио до текста единым конвейером. К числу распространённых архитектур относятся:
- CTC (Connectionist Temporal Classification) — позволяет обучать сеть без точной разметки временных границ слов;
- RNN-T (Recurrent Neural Network Transducer) — поддерживает потоковое распознавание;
- Attention-энкодер-декодер (в том числе конвейерные трансформеры) — строят текст целиком, опираясь на контекст.
¶Крупные самонастраивающиеся модели
С 2022 года широкое распространение получили большие модели вроде Whisper (OpenAI) и аналогов, обученные на сотнях тысяч часов мультиязычной записи. Такие модели распознают десятки языков, устойчивы к шуму и фоновой музыке, а также выполняют смежные задачи: определение языка, перевод субтитров, распознавание нескольких спикеров.
¶Многоспикерская транскрибация
Практическая транскрибация подкастов, интервью и совещаний требует разделения говорящих (speaker diarization): система определяет, в какие моменты говорит каждый участник, и помечает реплики метками спикеров. Диаризация строится на выделении эмбеддингов голоса (x-vectors, ECAPA-TDNN) и кластеризации их во времени. Точность диаризации оценивается метрикой DER (diarization error rate).
¶Инструменты и сервисы
Для перевода аудио в текст используются три основные категории средств:
| Категория | Примеры | Особенности |
|---|---|---|
| Облачные API | Yandex SpeechKit, Azure Speech, Google Cloud Speech-to-Text, AWS Transcribe | Высокое качество, почасовая или покликовая оплата, отправка данных на сторонний сервер |
| Локальные программы и библиотеки | Whisper, Vosk, Kaldi, Sherpa-onnx | Работа без интернета, контроль над данными, требуют вычислительных ресурсов |
| Готовые приложения | приложения-расшифровщики на базе ASR-сервисов | Простой интерфейс, ограниченная настройка |
Российские облачные платформы — Yandex SpeechKit и Sber SpeechKit — поддерживают русский язык, включая автоматическое разделение спикеров и расстановку знаков препинания. Open-решения (Whisper, Vosk) позволяют выполнять распознавание локально, что важно при работе с конфиденциальными материалами.
¶Ограничения
Точность распознавания зависит от качества записи, уровня фонового шума, количества говорящих, наличия специальной терминологии и акцентов. Системы хуже справляются с перекрывающейся речью, искажённым сигналом, редкими именами и узкоспециальными терминами, не представленными в обучающих данных. Для повышения качества используется адаптация модели под домен (fine-tuning на целевой лексике), постобработка с использованием пользовательского словаря и коррекция текста языковой моделью.
¶Применение
- субтитрование видео и транскрибация подкастов;
- протоколирование телефонных звонков и колл-центров;
- голосовые ассистенты и голосовой ввод;
- доступность: субтитры для людей с нарушениями слуха, преобразование речи в текст для людей с нарушениями речи;
- медиа-аналитика: поиск по расшифровкам, автоматические выдержки;
- юридические и медицинские расшифровки с последующей верификацией человеком.
Источники:
- «Распознавание речи» / В. В. Демировский, Б. З. Вуль, Г. Л. Жоголев и др. — М.: Наука, 1986.
- ОpenAI. Whisper: Robust Speech Recognition via Large-Scale Weak Supervision / A. Radford и др., 2022.
- Speech and Language Processing / D. Jurafsky, J. H. Martin — 3rd ed. (черновик), главы о распознавании речи.
- Yandex SpeechKit. Документация платформы.
- Kaldi ASR Toolkit. Документация и руководства.