WER एक सवाल का जवाब देता है: किसी के बोले हर 100 शब्दों में से ट्रांसक्रिप्ट ने कितने ग़लत लिखे?
यह कैसे काम करता है
मॉडल के ट्रांसक्रिप्ट को इंसान के बनाए सही रेफ़रंस के साथ मिलाएँ, फिर तीन तरह की ग़लतियाँ गिनें:
- Substitutions: सही शब्द की जगह ग़लत शब्द;
- Deletions: बोला गया शब्द जो ग़ायब है;
- Insertions: न बोला गया शब्द जो दिख रहा है।
WER = (S + D + I) / N, जहाँ N रेफ़रंस के शब्दों की संख्या है।
उदाहरण। रेफ़रंस है “please send the invoice to our office today” (8 शब्द)। ट्रांसक्रिप्ट में है “please send an invoice to office today now”:
| ग़लती | गिनती |
|---|---|
| “the” → “an” | 1 substitution |
| “our” ग़ायब | 1 deletion |
| “now” जुड़ा | 1 insertion |
WER = 3 / 8 = 0.375, यानी 37.5%। Wikipedia बताता है कि WER शब्द-स्तर की edit distance है, और क्योंकि insertions की कोई सीमा नहीं, यह “can be larger than 1.0.” (अनुवाद: 1.0 से बड़ा हो सकता है।)
jiwer Python पैकेज जैसे टूल इसे निकालते हैं। पहले दोनों टेक्स्ट को नॉर्मलाइज़ करें: केस, विराम चिह्न, अंकों या शब्दों में लिखी संख्याएँ, और अरबी के लिए diacritics और alef या yaa के रूप। सिर्फ़ नॉर्मलाइज़ेशन के फ़ैसले भी स्कोर को काफ़ी बदल सकते हैं।
यह क्यों मायने रखता है
- मॉडलों की तुलना. लीडरबोर्ड और वेंडर के दावों में WER ही आम पैमाना है, इसलिए स्पीच-टू-टेक्स्ट API चुनते समय यह पहला फ़िल्टर है।
- आपका ऑडियो अलग है. वही मॉडल पढ़ी गई स्पीच और बोली वाली फ़ोन कॉल पर बहुत अलग स्कोर कर सकता है। अरबी के लिए Modern Standard Arabic और बोली वाला ऑडियो अलग संख्याएँ देते हैं। अपनी जैसी रिकॉर्डिंग पर टेस्ट करें।
- सारी ग़लतियाँ बराबर नहीं. WER हर शब्द को एक जैसा वज़न देता है। ग़लत अकाउंट नंबर भी एक ग़लती गिना जाता है, ठीक ग़ायब “the” की तरह। सिर्फ़ स्कोर नहीं, ट्रांसक्रिप्ट भी पढ़ें।
BroadNet Inference पर
BroadNet BroadNet Transcribe Arabic के लिए अपने लैब माप प्रकाशित करता है:
| टेस्ट सेट | यह क्या है | WER (%) |
|---|---|---|
| FLEURS-ar | साफ़ पढ़े गए वाक्य | 3.8 |
| MASC-ar | असल दुनिया की मिली-जुली अरबी स्पीच | 21.1 |
| BroadNet बोली सेट | बोली वाली स्पीच | 23.4 |
3.8 और 23.4 का अंतर दिखाता है कि आपका अपना टेस्ट क्यों ज़रूरी है। BroadNet यह भी बताता है कि Open Universal Arabic ASR Leaderboard पर यह मॉडल 37 में से #2 (यह सितंबर 2026 का आंकड़ा है; 15 नवंबर 2026 को लाइव लीडरबोर्ड पर यह 39 में से #4 था) पर है। $5 का शुरुआती क्रेडिट लगभग 1,190 मिनट अरबी ऑडियो कवर करता है, जो एक टेस्ट सेट के लिए काफ़ी है। ख़रीदार गाइड में एक घंटे का टेस्ट प्लान है, और अरबी गाइड में कोड।