BroadRouter
शुरू करें

वॉइस एक्टिविटी डिटेक्शन (VAD)

अपडेट किया गया

वॉइस एक्टिविटी डिटेक्शन (VAD) सिग्नल-प्रोसेसिंग का एक क़दम है जो ऑडियो के छोटे फ़्रेम को स्पीच या नॉन-स्पीच में बाँटता है। स्पीच सिस्टम इससे ख़ामोशी छोड़ते हैं, लंबी रिकॉर्डिंग को ठहराव पर काटते हैं, पहचानते हैं कि बोलने वाला कब रुका, और बैकग्राउंड शोर को ट्रांसक्राइब होने से बचाते हैं।

अन्य नाम: वॉइस एक्टिविटी डिटेक्शन, स्पीच डिटेक्शन, ख़ामोशी हटाना, vad kya hai, voice activity detection kya hai, voice activity detection, speech activity detection, speech detection, silence detection

VAD हर सेकंड कई बार एक ही सवाल का जवाब देता है: क्या ऑडियो के इस टुकड़े में कोई बोल रहा है?

यह कैसे काम करता है

ऑडियो को छोटे फ़्रेम में काटा जाता है और हर फ़्रेम पर स्पीच या नॉन-स्पीच का लेबल लगता है। सबसे ज़्यादा इस्तेमाल होने वाले दो ओपन डिटेक्टर आम पैरामीटर दिखाते हैं:

WebRTC VAD Silero VAD
प्रकार Google के WebRTC प्रोजेक्ट का क्लासिक डिटेक्टर पहले से ट्रेन किया न्यूरल मॉडल, MIT लाइसेंस
सैंपल रेट 8, 16, 32 या 48 kHz 8 या 16 kHz
फ़्रेम या चंक 10, 20 या 30 ms 30+ ms
ऑडियो फ़ॉर्मैट सिर्फ़ 16-bit मोनो PCM जैसा रिपॉज़िटरी में दर्ज है
ट्यूनिंग aggressiveness 0 (सबसे कम फ़िल्टरिंग) से 3 (सबसे ज़्यादा) रिपॉज़िटरी के उदाहरण देखें
स्पीड छोटा C कोड एक CPU थ्रेड पर प्रति चंक 1 ms से कम; लगभग 2 MB का मॉडल

फ़्रेम का साइज़ और सैंपल रेट आपस में जुड़े हैं। प्रति सेकंड 16,000 सैंपल पर 30 ms का फ़्रेम 16,000 x 0.030 = 480 सैंपल होता है, यानी 16-bit ऑडियो के 960 बाइट। फ़्रेम-स्तर के कच्चे लेबल बार-बार बदलते रहते हैं, इसलिए टूल उन्हें स्मूद करते हैं: सेगमेंट खोलने से पहले कुछ सौ मिलीसेकंड की स्पीच और बंद करने से पहले कुछ ख़ामोशी ज़रूरी रखते हैं।

होस्टेड API भी यही तरीक़ा अपनाते हैं। OpenAI की स्पीच-टू-टेक्स्ट गाइड अपने डायराइज़ेशन मॉडल के लिए 30 सेकंड से लंबे ऑडियो पर chunking_strategy को auto या किसी VAD कॉन्फ़िगरेशन पर सेट करने देती है; गाइड इस मॉडल को डिप्रिकेटेड बताती है।

यह क्यों मायने रखता है

  • लागत. स्पीच-टू-टेक्स्ट API आम तौर पर प्रति ऑडियो मिनट बिल करते हैं। अपलोड से पहले लंबी ख़ामोशी हटाने से बिल होने वाले मिनट घटते हैं।
  • लेटेंसी. कम ऑडियो अपलोड होने का मतलब है छोटा अनुरोध और कम प्रोसेसिंग।
  • फ़ाइल की सीमा. जब फ़ाइल एक अनुरोध के लिए बहुत बड़ी हो, तो तय समय के बजाय ठहराव पर काटने से कोई शब्द बीच से नहीं कटता।
  • वॉइस बॉट. बोलने वाले की बारी ख़त्म होने की पहचान तय करती है कि बॉट कितनी जल्दी जवाब देगा।

VAD स्पीकर डायराइज़ेशन का भी पहला चरण है।

BroadNet Inference पर

BroadNet के डॉक्स /v1/audio/transcriptions के लिए न तो VAD सेटिंग दर्ज करते हैं, न ख़ामोशी हटाने का कोई विकल्प। आप 26,214,400 बाइट तक का WAV या MP3 अपलोड करते हैं और बदले में {"text": ...} पाते हैं। अगर आपके ऑडियो में लंबे गैप हैं, जैसा वॉइस नोट और कॉल रिकॉर्डिंग में अक्सर होता है, तो WebRTC VAD या Silero VAD लोकल चलाएँ, स्पीच वाले हिस्से रखें और वही भेजें। WhatsApp वॉइस नोट गाइड 16 kHz मोनो में ffmpeg कन्वर्ज़न बताती है, जिसे दोनों डिटेक्टर लेते हैं। ट्रांसक्रिप्शन की कीमत प्रति मिनट है, BroadNet Transcribe Arabic पर $0.0042; स्पीच-टू-टेक्स्ट कॉस्ट कैलकुलेटर दिखाता है कि हटाए गए मिनटों से कितनी बचत होती है।

अक्सर पूछे जाने वाले सवाल

अच्छा ओपन-सोर्स VAD कौन सा है?

दो आम विकल्प हैं: WebRTC VAD, एक छोटा क्लासिक डिटेक्टर जिसके aggressiveness मोड 0 से 3 हैं, और Silero VAD, MIT लाइसेंस वाला लगभग 2 MB का न्यूरल मॉडल जो एक CPU थ्रेड पर 30+ ms का चंक 1 ms से कम में प्रोसेस करता है।

क्या BroadNet मेरे ऑडियो पर VAD लगाता है?

BroadNet के डॉक्स में VAD की कोई सेटिंग दर्ज नहीं है। अगर आपको इस पर कंट्रोल चाहिए, तो अपलोड से पहले अपनी तरफ़ ख़ामोशी हटाएँ या ठहराव पर ऑडियो काटें।

VAD से स्पीच-टू-टेक्स्ट का ख़र्च कैसे घटता है?

प्रति मिनट वाले API भेजे गए ऑडियो का बिल बनाते हैं। अगर रिकॉर्डिंग में 40% ख़ामोशी है और आप सिर्फ़ स्पीच वाले हिस्से भेजते हैं, तो लगभग 60% मिनटों का भुगतान होता है। छोटे ठहराव रहने दें ताकि शब्द कटें नहीं।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें