BroadRouter

अरबी ASR में word error rate (WER) क्या है, आसान भाषा में

BroadNet Inference टीम · 5 मिनट में पढ़ें · प्रकाशित

Word error rate (WER) बदले गए, छूटे और जोड़े गए शब्दों की संख्या को reference ट्रांसक्रिप्ट के शब्दों से भाग देने पर मिलता है। कम बेहतर है। अरबी WER की तुलना मुश्किल है क्योंकि हरकतें, अलिफ़ और ता मरबूता की वर्तनी और बोलियाँ इसे बढ़ा देती हैं। BroadNet, BroadNet Transcribe Arabic के लिए FLEURS-ar पर 3.8 और बोली वाली आवाज़ पर 23.4 WER रिपोर्ट करता है।

Word error rate (WER) बदले गए, छूटे और जोड़े गए शब्दों की संख्या को सही ट्रांसक्रिप्ट के शब्दों की संख्या से भाग देने पर मिलता है। कम बेहतर है। अरबी WER आसानी से फूल जाता है: एक ही सही ट्रांसक्रिप्ट कई तरह से लिखी जा सकती है, और सीधी-सादी तुलना वर्तनी के हर चुनाव, हर हरकत और बोली की हर वर्तनी को ग़लती गिनती है।

यह पोस्ट बताती है कि WER क्या मापता है, अरबी इसे फिसलन भरा क्यों बनाती है, और इसे कैसे निकालें ताकि आपके नंबरों का कोई मतलब हो। टेस्ट सेट ख़ुद बनाने के लिए अरबी बोलियों की speech recognition देखें; प्रोवाइडर चुनने के लिए अरबी speech-to-text API ख़रीदार गाइड देखें।

Word error rate क्या है?

Word error rate मशीन की ट्रांसक्रिप्ट (hypothesis) की तुलना इंसान की सही ट्रांसक्रिप्ट (reference) से करता है। यह शब्दों के उन कम से कम बदलावों को ढूँढता है जो एक को दूसरे में बदल दें:

  • S, substitutions: एक शब्द की जगह दूसरा शब्द।
  • D, deletions: reference का कोई शब्द जो hypothesis में नहीं है।
  • I, insertions: hypothesis में एक अतिरिक्त शब्द।

फिर:

WER = (S + D + I) / N, जहाँ N, reference के शब्दों की संख्या है।

0.10 का WER (जिसे अक्सर 10 लिखा जाता है) मतलब reference के लगभग हर दस शब्दों पर एक ग़लती। कम बेहतर है। क्योंकि insertions गिने जाते हैं, गढ़े हुए शब्दों से भरी ट्रांसक्रिप्ट का WER 100% से ऊपर जा सकता है।

Character error rate (CER) वही फ़ॉर्मूला है, कैरेक्टर पर। यह अरबी के लिए उपयोगी है, जहाँ prefix में एक ग़लत अक्षर पूरे शब्द को ग़लत गिनवा देता है।

अरबी WER की तुलना मुश्किल क्यों है?

1. हरकतें (diacritics)

अरबी के छोटे स्वर अक्षरों के ऊपर और नीचे वैकल्पिक निशानों (तश्कील) के रूप में लिखे जाते हैं: फ़तहा, ज़म्मा, कसरा, सुकून, शद्दा और तनवीन। रोज़मर्रा के टेक्स्ट में ये नहीं होते। अगर आपके reference में “مَدْرَسَةٌ” है और मॉडल “مدرسة” लिखता है, तो सख़्त तुलना इसे substitution गिनती है, जबकि कोई भी अरबी पाठक इसे एक ही शब्द देखता है।

2. वर्तनी के रूप

कई अक्षरों के आम, मान्य रूप हैं:

बदलाव उदाहरण आम normalisation
अलिफ़ पर हम्ज़ा أحمد / احمد, إلى / الى أ إ آ को ا में बदलें
ता मरबूता बनाम हा مدرسة / مدرسه ة को ه में बदलें
अलिफ़ मक़सूरा बनाम या على / علي (ढीली लिखावट में) ى को ي में बदलें
अलिफ़ के साथ तनवीन صباحاً / صباحا हरकत हटाएँ
ततवील (खिंचाव) جـمـيـل / جميل ـ हटाएँ

3. Clitics और शब्दों की सीमाएँ

अरबी संयोजक, संबंधबोधक और सर्वनाम शब्दों से जोड़ देती है: “وبمدرستهم” का मतलब “और उनके स्कूल में” है, एक लिखे हुए शब्द में। अगर मॉडल space के साथ “و بمدرستهم” लिखता है, तो शब्दों की गिनती बदल जाती है और WER दो बार सज़ा देता है। कुछ मूल्यांकन पहले शब्दों को morphemes में बाँटते हैं; ज़्यादातर नहीं। जान लें कि आप कौन-सा पढ़ रहे हैं।

4. बोलियाँ

मानक आधुनिक अरबी के उलट, बोली वाली आवाज़ की कोई मानक वर्तनी नहीं है। मिस्री बोलने वाले का “मैं चाहता हूँ” “عايز” या “عاوز” लिखा जा सकता है; खाड़ी वाले का “क्या” “وش” या “ويش” हो सकता है। कुछ ट्रांसक्राइबर बोली को MSA में “सुधार” भी देते हैं। अर्थ बिल्कुल सही होने पर भी इनमें से हर एक WER की ग़लती है। बोली का WER पढ़ी गई आवाज़ के WER से इतना ऊँचा होने की बड़ी वजह यही है।

5. संख्याएँ और code-switching

बोलने वाले अक्सर वाक्य के बीच अंग्रेज़ी में चले जाते हैं (code-switching)। यह “٢٥” है, “25” या “خمسة وعشرين”? अंग्रेज़ी ब्रांड नाम लैटिन लिपि में लिखा जाए या अरबी अक्षरों में? एक नियम तय करें, उसे reference पर लागू करें, और hypothesis को उसी के हिसाब से normalise करें।

Normalisation स्कोर को कितना बदलता है?

Reference: ذهبت إلى المدرسة صباحاً (“मैं सुबह स्कूल गया”)

Hypothesis: ذهبت الى المدرسه صباحا

Normalisation के बिना चार में से तीन शब्द अलग हैं (إلى/الى, المدرسة/المدرسه, صباحاً/صباحا): WER 75%। दोनों टेक्स्ट normalise करने के बाद वे एक जैसे हैं: WER 0%। वही ट्रांसक्रिप्ट, वही गुणवत्ता, और नंबर बहुत बुरे से बिल्कुल सही पर पहुँच गया। इसीलिए normalisation के नियमों के बिना WER का आँकड़ा बहुत कम बताता है।

Python में अरबी WER कैसे निकालें?

import re
import jiwer  # pip install jiwer

DIACRITICS = re.compile(r"[ً-ْٰ]")   # tanween, harakat, shadda, sukun, dagger alef
PUNCT = re.compile(r"[^\w\s]")

def normalise_ar(text: str) -> str:
    text = DIACRITICS.sub("", text)
    text = text.replace("ـ", "")                # tatweel
    text = re.sub("[أإآٱ]", "ا", text)
    text = text.replace("ى", "ي").replace("ة", "ه")
    text = text.translate(str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789"))
    text = PUNCT.sub(" ", text)
    return " ".join(text.split())

refs = ["ذهبت إلى المدرسة صباحاً"]
hyps = ["ذهبت الى المدرسه صباحا"]

print("raw WER:", jiwer.wer(refs, hyps))
print("normalised WER:", jiwer.wer([normalise_ar(r) for r in refs], [normalise_ar(h) for h in hyps]))
print("normalised CER:", jiwer.cer([normalise_ar(r) for r in refs], [normalise_ar(h) for h in hyps]))

बिल्कुल यही फ़ंक्शन references और hypotheses पर लगाएँ, हर उस मॉडल के लिए जिसकी आप तुलना करते हैं। इसे अपने नंबरों के साथ प्रकाशित करें।

BroadNet अरबी के लिए कितना WER रिपोर्ट करता है?

BroadNet अपने मॉडल कैटलॉग में BroadNet Transcribe Arabic के लैब माप प्रकाशित करता है:

टेस्ट सेट यह क्या है BroadNet द्वारा रिपोर्ट किया गया WER
FLEURS-ar साफ़ पढ़े गए वाक्य 3.8
MASC-ar असली दुनिया की मिली-जुली अरबी आवाज़ 21.1
BroadNet बोली सेट बोली वाली आवाज़ 23.4

BroadNet यह भी रिपोर्ट करता है कि Open Universal Arabic ASR Leaderboard पर मॉडल 37 में से #2 (यह सितंबर 2026 का आंकड़ा है; 15 नवंबर 2026 को लाइव लीडरबोर्ड पर यह 39 में से #4 था) पर है, और उन मॉडलों में #1 है जिनके लाइसेंस API के ज़रिए सर्व करने की अनुमति देते हैं। ये BroadNet के आँकड़े हैं, स्वतंत्र ऑडिट नहीं। leaderboard हर मॉडल पर एक ही मूल्यांकन सेटअप लगाता है, जिससे उसकी रैंक अलग-अलग वेंडर पेजों के नंबरों से ज़्यादा तुलनीय बनती है।

सिर्फ़ सबसे अच्छा नंबर नहीं, फैलाव पढ़ें। 3.8 से 23.4 की छलाँग एक ही मॉडल के लिए पढ़ी गई आवाज़ और स्वाभाविक बोली के बीच का अंतर है, इसलिए हर उम्मीदवार को दोनों तरह के ऑडियो पर टेस्ट करें। आपका अपना ऑडियो, चाहे कॉल सेंटर लाइनें हों, WhatsApp वॉइस नोट या मीटिंग, इसी रेंज में कहीं आएगा, और कहाँ, यह सिर्फ़ टेस्ट बताता है।

अपने ऑडियो पर WER कैसे मापें?

  1. हालात के हिसाब से सैंपल लें। clips को बोली और चैनल (फ़ोन, वॉइस नोट, स्टूडियो) के हिसाब से समूहों में बाँटें। बोली टेस्ट सेट का तरीक़ा सैंपल के आकार और वर्तनी के नियम कवर करता है।
  2. हर उम्मीदवार से ट्रांसक्राइब करें। BroadNet के लिए language=ar भेजें; इसके बिना अरबी लैटिन अक्षरों में लिप्यंतरित होकर लौट सकती है। कोड अरबी speech-to-text गाइड में है, और $5 का शुरुआती क्रेडिट लगभग 1,190 मिनट का ऑडियो कवर करता है।
  3. Normalise करें और स्कोर करें। ऊपर वाला फ़ंक्शन इस्तेमाल करें, हर समूह का WER और CER रिपोर्ट करें।
  4. ग़लतियाँ पढ़ें। substitutions को बारंबारता के हिसाब से छाँटें। अगर सबसे ऊपर की ग़लतियाँ नाम, रक़म या प्रोडक्ट कोड हैं, तो बिज़नेस पर असर स्कोर से कहीं बड़ा है।

WER के अलावा क्या मापें?

WER हर शब्द को बराबर मानता है, लेकिन आपका प्रोडक्ट नहीं। सपोर्ट बॉट को इरादे की परवाह है; इनवॉइस वर्कफ़्लो को संख्याओं की; कंप्लायंस टीम को ख़ास वाक्यांशों की। WER के साथ एक टास्क मेट्रिक जोड़ें: LLM के ट्रांसक्रिप्ट पढ़ने के बाद इरादे की सटीकता, या निकाली गई रक़मों पर exact match। थोड़े ऊँचे WER वाला मॉडल भी जीत सकता है, अगर उसकी ग़लतियाँ उन शब्दों पर पड़ती हैं जो मायने नहीं रखते।

लागत के लिए अपने महीने के ऑडियो घंटे मुफ़्त speech-to-text लागत कैलकुलेटर में डालें, और देखें कि अरबी और 14-भाषा वाले मॉडल BroadNet Transcribe बनाम Transcribe Arabic में कैसे अलग हैं।

अक्सर पूछे जाने वाले सवाल

अरबी के लिए अच्छा WER कितना होता है?

साफ़ पढ़ी गई आवाज़ पर एक अंक वाला WER मुमकिन है; BroadNet, FLEURS-ar पर 3.8 रिपोर्ट करता है। असली दुनिया और बोली वाले ऑडियो पर काफ़ी ऊँचे नंबरों की उम्मीद रखें; BroadNet, MASC-ar पर 21.1 और अपने बोली सेट पर 23.4 रिपोर्ट करता है। मॉडलों की तुलना अपने ऑडियो पर, एक ही normalisation के साथ करें।

क्या अरबी WER निकालने से पहले हरकतें हटा देनी चाहिए?

आमतौर पर हाँ। ज़्यादातर अरबी छोटे स्वरों के निशानों के बिना लिखी जाती है, और मॉडल उन्हें बेतरतीब जोड़ते हैं। जब तक आपके प्रोडक्ट को हरकतों वाला टेक्स्ट न चाहिए, उन्हें reference और hypothesis दोनों से हटाएँ।

CER क्या है और इसे कब इस्तेमाल करें?

Character error rate वही हिसाब है, शब्दों की जगह कैरेक्टर पर। यह अरबी पर कम सख़्त है, जहाँ prefix का एक ग़लत अक्षर पूरे शब्द को ग़लत बना देता है, और WER के साथ उपयोगी है।

क्या WER 100% से ज़्यादा हो सकता है?

हाँ। insertions भी ग़लती गिने जाते हैं, इसलिए बहुत सारे अतिरिक्त शब्द गढ़ने वाला मॉडल reference के शब्दों से ज़्यादा ग़लतियाँ कर सकता है।

Python में अरबी का WER कैसे निकालें?

jiwer इंस्टॉल करें, reference और मॉडल आउटपुट दोनों को एक ही फ़ंक्शन से normalise करें (हरकतें और ततवील हटाएँ, अलिफ़, या और ता मरबूता को एक करें, पूर्वी अरबी अंक बदलें), फिर jiwer.wer(references, hypotheses) कॉल करें। स्कोर के साथ normalisation भी लिखें।

अरबी का WER अंग्रेज़ी से ज़्यादा क्यों होता है?

कुछ असली मुश्किल की वजह से (बोलियाँ, clitics, code-switching) और कुछ स्कोरिंग की वजह से: अरबी में वर्तनी के मान्य रूप और वैकल्पिक हरकतें हैं, और सख़्त तुलना हर एक को ग़लती गिनती है। दोनों टेक्स्ट normalise करने से स्कोरिंग वाला हिस्सा हट जाता है।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें