BroadRouter
Começar

Voice activity detection (VAD)

Atualizado em

Voice activity detection (VAD, detecção de atividade de voz) é uma etapa de processamento de sinal que classifica frames curtos de áudio como fala ou não fala. Sistemas de voz a usam para pular silêncios, dividir gravações longas nas pausas, detectar quando alguém terminou de falar e evitar transcrever ruído de fundo.

Também chamado de: detecção de atividade de voz, detecção de fala, detecção de silêncio, remoção de silêncio, VAD, voice activity detection, speech activity detection, speech detection, silence detection

O VAD responde a uma única pergunta, muitas vezes por segundo: tem alguém falando neste pedaço de áudio?

Como funciona

O áudio é cortado em frames curtos e cada frame recebe um rótulo de fala ou não fala. Os dois detectores abertos mais usados mostram os parâmetros típicos:

WebRTC VAD Silero VAD
Tipo detector clássico do projeto WebRTC do Google modelo neural pré-treinado, licença MIT
Taxas de amostragem 8, 16, 32 ou 48 kHz 8 ou 16 kHz
Frame ou chunk 10, 20 ou 30 ms 30+ ms
Formato de áudio só PCM mono de 16 bits conforme a documentação do repositório
Ajuste agressividade de 0 (filtra menos) a 3 (filtra mais) veja os exemplos do repositório
Velocidade código C pequeno menos de 1 ms por chunk em uma thread de CPU; modelo de cerca de 2 MB

Tamanho do frame e taxa de amostragem andam juntos. A 16.000 amostras por segundo, um frame de 30 ms tem 16.000 x 0,030 = 480 amostras, ou 960 bytes de áudio de 16 bits. Os rótulos brutos dos frames oscilam, então as ferramentas os suavizam: exigem algumas centenas de milissegundos de fala antes de abrir um segmento e um pouco de silêncio antes de fechá-lo.

APIs hospedadas usam a mesma ideia. O guia de speech-to-text da OpenAI permite definir chunking_strategy como auto ou como uma configuração de VAD em áudios com mais de 30 segundos para o seu modelo de diarização, que o guia lista como descontinuado.

Por que isso importa

  • Custo. APIs de speech-to-text costumam cobrar por minuto de áudio. Cortar silêncios longos antes do upload reduz os minutos cobrados.
  • Latência. Menos áudio enviado significa uma requisição menor e menos coisa para processar.
  • Limites de arquivo. Dividir nas pausas, e não em tempos fixos, evita cortar uma palavra ao meio quando um arquivo é grande demais para uma requisição.
  • Voice bots. Detectar o fim de um turno define a rapidez com que um bot responde.

O VAD também é a primeira etapa da diarização de locutores.

Na BroadNet Inference

A documentação da BroadNet não descreve configurações de VAD nem uma opção de remoção de silêncio para /v1/audio/transcriptions. Você envia WAV ou MP3 de até 26.214.400 bytes e recebe {"text": ...}. Se o seu áudio tem pausas longas, como costuma acontecer com áudios de voz e gravações de chamadas, rode o WebRTC VAD ou o Silero VAD localmente, mantenha os trechos com fala e envie só esses. O guia de áudios do WhatsApp mostra a conversão com ffmpeg para 16 kHz mono, aceita pelos dois detectores. A transcrição é cobrada por minuto, $0.0042 no BroadNet Transcribe Arabic; a calculadora de custo de speech-to-text mostra quanto os minutos cortados economizam.

Perguntas frequentes

Qual é um bom VAD open source?

Duas escolhas comuns são o WebRTC VAD, um detector clássico e pequeno com modos de agressividade de 0 a 3, e o Silero VAD, um modelo neural com licença MIT de cerca de 2 MB que processa um chunk de 30+ ms em menos de 1 ms em uma única thread de CPU.

A BroadNet aplica VAD no meu áudio?

A documentação da BroadNet não descreve configurações de VAD. Se você precisa controlar isso, corte os silêncios ou divida nas pausas do seu lado antes do upload.

Como o VAD reduz o custo de speech-to-text?

APIs cobradas por minuto cobram o áudio que você envia. Se uma gravação tem 40% de silêncio e você envia só os trechos com fala, paga cerca de 60% dos minutos. Mantenha as pausas curtas para não cortar palavras.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity