BroadRouter
Начать

Детекция речевой активности (VAD)

Обновлено

Детекция речевой активности (voice activity detection, VAD) — это этап обработки сигнала, который помечает короткие кадры аудио как речь или не речь. Речевые системы используют её, чтобы пропускать тишину, делить длинные записи по паузам, понимать, что собеседник договорил, и не транскрибировать фоновый шум.

Также называют: детекция речевой активности, детектор речевой активности, детектор речи, детектор голосовой активности, обнаружение тишины, удаление тишины, VAD, voice activity detection, speech activity detection, speech detection, silence detection

VAD много раз в секунду отвечает на один вопрос: говорит ли кто-то в этом кусочке аудио?

Как это работает

Аудио нарезают на короткие кадры, и каждый кадр получает метку «речь» или «не речь». Типичные параметры видны на двух самых популярных открытых детекторах:

WebRTC VAD Silero VAD
Тип классический детектор из проекта Google WebRTC предобученная нейросетевая модель, лицензия MIT
Частоты дискретизации 8, 16, 32 или 48 кГц 8 или 16 кГц
Кадр или фрагмент 10, 20 или 30 мс от 30 мс
Формат аудио только 16-битный моно PCM как описано в репозитории
Настройка агрессивность от 0 (минимум фильтрации) до 3 (максимум) см. примеры в репозитории
Скорость компактный код на C менее 1 мс на фрагмент на одном потоке CPU; модель около 2 МБ

Размер кадра и частота дискретизации связаны. При 16 000 отсчётов в секунду кадр 30 мс — это 16 000 × 0,030 = 480 отсчётов, или 960 байт 16-битного аудио. Сырые метки кадров «мерцают», поэтому инструменты их сглаживают: сегмент открывается только после нескольких сотен миллисекунд речи и закрывается после некоторой паузы.

Облачные API используют ту же идею. Руководство OpenAI по распознаванию речи позволяет задать chunking_strategy как auto или конфигурацию VAD для аудио длиннее 30 секунд в её модели диаризации, которую руководство помечает как устаревшую.

Почему это важно

  • Стоимость. API распознавания речи обычно тарифицируют за минуту аудио. Если вырезать длинные паузы до загрузки, оплачиваемых минут станет меньше.
  • Задержка. Меньше аудио — меньше запрос и меньше работы на обработку.
  • Лимиты файлов. Если файл слишком велик для одного запроса, деление по паузам, а не через фиксированные интервалы, не разрежет слово пополам.
  • Голосовые боты. От того, как быстро определяется конец реплики, зависит скорость ответа бота.

VAD также служит первым этапом диаризации дикторов.

В BroadNet Inference

В документации BroadNet не описаны ни настройки VAD, ни опция удаления тишины для /v1/audio/transcriptions. Вы загружаете WAV или MP3 размером до 26 214 400 байт и получаете в ответ {"text": ...}. Если в аудио есть длинные паузы, как часто бывает в голосовых сообщениях и записях звонков, запустите WebRTC VAD или Silero VAD локально, оставьте фрагменты с речью и отправьте их. Руководство по голосовым сообщениям WhatsApp показывает конвертацию через ffmpeg в 16 кГц моно, которую принимают оба детектора. Транскрибация оплачивается поминутно, $0.0042 у BroadNet Transcribe Arabic; калькулятор стоимости распознавания речи показывает, сколько экономят вырезанные минуты.

Вопросы и ответы

Какой VAD с открытым кодом выбрать?

Два распространённых варианта: WebRTC VAD — небольшой классический детектор с режимами агрессивности от 0 до 3, и Silero VAD — нейросетевая модель под лицензией MIT размером около 2 МБ, которая обрабатывает фрагмент от 30 мс менее чем за 1 мс на одном потоке CPU.

Применяет ли BroadNet VAD к моему аудио?

В документации BroadNet настройки VAD не описаны. Если вам нужен контроль над этим, вырезайте тишину или делите запись по паузам на своей стороне до загрузки.

Как VAD снижает стоимость распознавания речи?

API с поминутной оплатой тарифицируют всё отправленное аудио. Если запись на 40% состоит из тишины и вы отправляете только фрагменты с речью, вы платите примерно за 60% минут. Оставляйте короткие паузы, чтобы не обрезать слова.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity