BroadRouter
Bắt đầu

VAD (phát hiện giọng nói)

Cập nhật

Voice activity detection (VAD) là bước xử lý tín hiệu phân loại từng khung audio ngắn là có tiếng nói hay không. Hệ thống giọng nói dùng nó để bỏ qua khoảng lặng, tách bản ghi dài tại chỗ ngắt, nhận biết khi người nói đã dừng và tránh chép lời tiếng ồn nền.

Còn gọi là: VAD là gì, phát hiện giọng nói, phát hiện hoạt động giọng nói, phát hiện tiếng nói, phát hiện khoảng lặng, cắt khoảng lặng, voice activity detection, speech activity detection, speech detection, silence detection

VAD trả lời một câu hỏi nhiều lần mỗi giây: trong lát audio này có ai đang nói không?

Cách hoạt động

Audio được cắt thành các khung ngắn và mỗi khung được gắn nhãn có tiếng nói hoặc không. Hai bộ phát hiện mở được dùng nhiều nhất cho thấy các tham số điển hình:

WebRTC VAD Silero VAD
Loại bộ phát hiện cổ điển từ dự án WebRTC của Google model neural huấn luyện sẵn, giấy phép MIT
Tần số lấy mẫu 8, 16, 32 hoặc 48 kHz 8 hoặc 16 kHz
Khung hoặc đoạn 10, 20 hoặc 30 ms 30+ ms
Định dạng audio chỉ PCM mono 16-bit theo tài liệu trong repo
Tinh chỉnh aggressiveness từ 0 (lọc ít nhất) đến 3 (nhiều nhất) xem ví dụ trong repo
Tốc độ code C nhỏ gọn dưới 1 ms mỗi đoạn trên một luồng CPU; model khoảng 2 MB

Kích thước khung và tần số lấy mẫu gắn liền với nhau. Ở 16.000 mẫu mỗi giây, một khung 30 ms là 16.000 x 0,030 = 480 mẫu, tức 960 byte audio 16-bit. Nhãn thô theo từng khung hay nhấp nháy, nên các công cụ làm mượt chúng: cần vài trăm mili giây tiếng nói mới mở một đoạn, và cần một khoảng lặng mới đóng đoạn đó lại.

Các API được host cũng dùng ý tưởng này. Hướng dẫn speech-to-text của OpenAI cho phép đặt chunking_strategy thành auto hoặc một cấu hình VAD với audio dài hơn 30 giây cho model diarization của họ; hướng dẫn liệt kê model này là đã ngừng hỗ trợ.

Vì sao quan trọng

  • Chi phí. API speech-to-text thường tính tiền theo phút audio. Cắt các khoảng lặng dài trước khi tải lên sẽ giảm số phút bị tính.
  • Độ trễ. Tải lên ít audio hơn nghĩa là request nhỏ hơn và ít thứ phải xử lý hơn.
  • Giới hạn file. Khi file quá lớn cho một request, tách tại chỗ ngắt thay vì theo mốc thời gian cố định sẽ tránh cắt đôi một từ.
  • Voice bot. Việc nhận biết khi nào một lượt nói kết thúc quyết định bot trả lời nhanh đến đâu.

VAD cũng là bước đầu tiên của speaker diarization.

Trên BroadNet Inference

Tài liệu của BroadNet không mô tả thiết lập VAD hay tùy chọn cắt khoảng lặng nào cho /v1/audio/transcriptions. Bạn tải lên WAV hoặc MP3 tối đa 26.214.400 byte và nhận lại {"text": ...}. Nếu audio có nhiều khoảng trống dài, như tin nhắn thoại và bản ghi cuộc gọi thường có, hãy chạy WebRTC VAD hoặc Silero VAD ở máy của bạn, giữ các đoạn có tiếng nói và gửi những đoạn đó. Hướng dẫn chép lời tin nhắn thoại WhatsApp có lệnh ffmpeg chuyển sang 16 kHz mono mà cả hai bộ phát hiện đều chấp nhận. Chép lời được tính giá theo phút, $0.0042 trên BroadNet Transcribe Arabic; công cụ tính chi phí speech-to-text cho thấy số phút được cắt bớt tiết kiệm bao nhiêu.

Câu hỏi thường gặp

VAD mã nguồn mở nào dùng tốt?

Hai lựa chọn phổ biến là WebRTC VAD, một bộ phát hiện cổ điển nhỏ gọn với các mức aggressiveness từ 0 đến 3, và Silero VAD, một model neural giấy phép MIT nặng khoảng 2 MB, xử lý một đoạn 30+ ms trong chưa đến 1 ms trên một luồng CPU.

BroadNet có áp dụng VAD cho audio của tôi không?

Tài liệu của BroadNet không mô tả thiết lập VAD nào. Nếu cần tự kiểm soát, hãy cắt khoảng lặng hoặc tách tại các chỗ ngắt ở phía bạn trước khi tải lên.

VAD giúp giảm chi phí speech-to-text như thế nào?

API tính theo phút sẽ tính tiền phần audio bạn gửi. Nếu bản ghi có 40% là khoảng lặng và bạn chỉ gửi các đoạn có tiếng nói, bạn trả cho khoảng 60% số phút. Hãy giữ lại các khoảng ngắt ngắn để từ không bị cắt cụt.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity