VAD 每秒要回答很多次同一个问题:这一小段音频里有人在说话吗?
工作原理
音频被切成短帧,每帧被标记为语音或非语音。最常用的两个开源检测器体现了典型参数:
| WebRTC VAD | Silero VAD | |
|---|---|---|
| 类型 | 来自 Google WebRTC 项目的经典检测器 | 预训练神经网络模型,MIT 许可 |
| 采样率 | 8、16、32 或 48 kHz | 8 或 16 kHz |
| 帧或块 | 10、20 或 30 ms | 30+ ms |
| 音频格式 | 仅限 16 位单声道 PCM | 见仓库文档 |
| 调节 | 激进度 0(过滤最少)到 3(最多) | 见仓库示例 |
| 速度 | 小巧的 C 代码 | 单个 CPU 线程上每块不到 1 ms;模型约 2 MB |
帧长与采样率是相关联的。每秒 16,000 个样本时,30 ms 的帧为 16,000 x 0.030 = 480 个样本,即 16 位音频的 960 字节。逐帧的原始标签会来回跳动,因此工具会做平滑:先要有几百毫秒的语音才开启一个片段,并要有一段静音才关闭它。
托管 API 用的是同样的思路。OpenAI 的语音转文字指南允许对超过 30 秒的音频把 chunking_strategy 设为 auto 或一个 VAD 配置,适用于其说话人分离模型;指南已将该模型列为弃用。
为什么重要
- 费用。 语音转文字 API 通常按音频分钟计费。上传前去掉长时间静音,计费分钟数就会减少。
- 延迟。 上传的音频越少,请求越小,需要处理的内容也越少。
- 文件大小限制。 文件太大、一次请求放不下时,在停顿处而不是按固定时间切分,可以避免把一个词切成两半。
- 语音机器人。 检测一轮发言何时结束,决定了机器人回复得有多快。
VAD 也是说话人分离的第一步。
在 BroadNet Inference 上
BroadNet 的文档没有说明 /v1/audio/transcriptions 的 VAD 设置或去除静音的选项。你上传最大 26,214,400 字节的 WAV 或 MP3,得到 {"text": ...}。如果音频中有很长的空白(语音消息和通话录音常常如此),请在本地运行 WebRTC VAD 或 Silero VAD,保留有语音的部分再发送。WhatsApp 语音消息指南介绍了用 ffmpeg 转成两个检测器都接受的 16 kHz 单声道音频。转写按分钟计价,BroadNet Transcribe Arabic 为 $0.0042;用语音转文字费用计算器可以看出去掉的分钟能省多少。