VAD हर सेकंड कई बार एक ही सवाल का जवाब देता है: क्या ऑडियो के इस टुकड़े में कोई बोल रहा है?
यह कैसे काम करता है
ऑडियो को छोटे फ़्रेम में काटा जाता है और हर फ़्रेम पर स्पीच या नॉन-स्पीच का लेबल लगता है। सबसे ज़्यादा इस्तेमाल होने वाले दो ओपन डिटेक्टर आम पैरामीटर दिखाते हैं:
| WebRTC VAD | Silero VAD | |
|---|---|---|
| प्रकार | Google के WebRTC प्रोजेक्ट का क्लासिक डिटेक्टर | पहले से ट्रेन किया न्यूरल मॉडल, MIT लाइसेंस |
| सैंपल रेट | 8, 16, 32 या 48 kHz | 8 या 16 kHz |
| फ़्रेम या चंक | 10, 20 या 30 ms | 30+ ms |
| ऑडियो फ़ॉर्मैट | सिर्फ़ 16-bit मोनो PCM | जैसा रिपॉज़िटरी में दर्ज है |
| ट्यूनिंग | aggressiveness 0 (सबसे कम फ़िल्टरिंग) से 3 (सबसे ज़्यादा) | रिपॉज़िटरी के उदाहरण देखें |
| स्पीड | छोटा C कोड | एक CPU थ्रेड पर प्रति चंक 1 ms से कम; लगभग 2 MB का मॉडल |
फ़्रेम का साइज़ और सैंपल रेट आपस में जुड़े हैं। प्रति सेकंड 16,000 सैंपल पर 30 ms का फ़्रेम 16,000 x 0.030 = 480 सैंपल होता है, यानी 16-bit ऑडियो के 960 बाइट। फ़्रेम-स्तर के कच्चे लेबल बार-बार बदलते रहते हैं, इसलिए टूल उन्हें स्मूद करते हैं: सेगमेंट खोलने से पहले कुछ सौ मिलीसेकंड की स्पीच और बंद करने से पहले कुछ ख़ामोशी ज़रूरी रखते हैं।
होस्टेड API भी यही तरीक़ा अपनाते हैं। OpenAI की स्पीच-टू-टेक्स्ट गाइड अपने डायराइज़ेशन मॉडल के लिए 30 सेकंड से लंबे ऑडियो पर chunking_strategy को auto या किसी VAD कॉन्फ़िगरेशन पर सेट करने देती है; गाइड इस मॉडल को डिप्रिकेटेड बताती है।
यह क्यों मायने रखता है
- लागत. स्पीच-टू-टेक्स्ट API आम तौर पर प्रति ऑडियो मिनट बिल करते हैं। अपलोड से पहले लंबी ख़ामोशी हटाने से बिल होने वाले मिनट घटते हैं।
- लेटेंसी. कम ऑडियो अपलोड होने का मतलब है छोटा अनुरोध और कम प्रोसेसिंग।
- फ़ाइल की सीमा. जब फ़ाइल एक अनुरोध के लिए बहुत बड़ी हो, तो तय समय के बजाय ठहराव पर काटने से कोई शब्द बीच से नहीं कटता।
- वॉइस बॉट. बोलने वाले की बारी ख़त्म होने की पहचान तय करती है कि बॉट कितनी जल्दी जवाब देगा।
VAD स्पीकर डायराइज़ेशन का भी पहला चरण है।
BroadNet Inference पर
BroadNet के डॉक्स /v1/audio/transcriptions के लिए न तो VAD सेटिंग दर्ज करते हैं, न ख़ामोशी हटाने का कोई विकल्प। आप 26,214,400 बाइट तक का WAV या MP3 अपलोड करते हैं और बदले में {"text": ...} पाते हैं। अगर आपके ऑडियो में लंबे गैप हैं, जैसा वॉइस नोट और कॉल रिकॉर्डिंग में अक्सर होता है, तो WebRTC VAD या Silero VAD लोकल चलाएँ, स्पीच वाले हिस्से रखें और वही भेजें। WhatsApp वॉइस नोट गाइड 16 kHz मोनो में ffmpeg कन्वर्ज़न बताती है, जिसे दोनों डिटेक्टर लेते हैं। ट्रांसक्रिप्शन की कीमत प्रति मिनट है, BroadNet Transcribe Arabic पर $0.0042; स्पीच-टू-टेक्स्ट कॉस्ट कैलकुलेटर दिखाता है कि हटाए गए मिनटों से कितनी बचत होती है।