WER ایک سوال کا جواب دیتا ہے: کسی کے بولے ہر 100 الفاظ میں سے ٹرانسکرپٹ نے کتنے غلط لکھے؟
یہ کیسے کام کرتا ہے
ماڈل کے ٹرانسکرپٹ کو انسان کے بنائے درست ریفرنس کے ساتھ ملائیں، پھر تین قسم کی غلطیاں گنیں:
- Substitutions: درست لفظ کی جگہ غلط لفظ؛
- Deletions: بولا گیا لفظ جو غائب ہے؛
- Insertions: نہ بولا گیا لفظ جو نظر آ رہا ہے۔
WER = (S + D + I) / N، جہاں N ریفرنس کے الفاظ کی تعداد ہے۔
مثال۔ ریفرنس ہے “please send the invoice to our office today” (8 الفاظ)۔ ٹرانسکرپٹ میں ہے “please send an invoice to office today now”:
| غلطی | گنتی |
|---|---|
| “the” → “an” | 1 substitution |
| “our” غائب | 1 deletion |
| “now” اضافی | 1 insertion |
WER = 3 / 8 = 0.375، یعنی 37.5%۔ Wikipedia بتاتا ہے کہ WER لفظ کی سطح کا edit distance ہے، اور چونکہ insertions کی کوئی حد نہیں، یہ “can be larger than 1.0.” (ترجمہ: 1.0 سے بڑا ہو سکتا ہے۔)
jiwer Python پیکیج جیسے ٹولز اسے نکالتے ہیں۔ پہلے دونوں متون کو نارملائز کریں: کیس، رموزِ اوقاف، ہندسوں یا الفاظ میں لکھے اعداد، اور عربی کے لیے اعراب اور الف یا یاء کی شکلیں۔ صرف نارملائزیشن کے فیصلے بھی اسکور کو نمایاں طور پر بدل سکتے ہیں۔
یہ کیوں اہم ہے
- ماڈلز کا موازنہ۔ لیڈر بورڈز اور وینڈرز کے دعووں میں WER ہی عام پیمانہ ہے، اس لیے اسپیچ ٹو ٹیکسٹ API چنتے وقت یہ پہلا فلٹر ہے۔
- آپ کا آڈیو مختلف ہے۔ وہی ماڈل پڑھی گئی اسپیچ اور لہجے والی فون کالز پر بہت مختلف اسکور کر سکتا ہے۔ عربی کے لیے Modern Standard Arabic اور لہجے والا آڈیو مختلف اعداد دیتے ہیں۔ اپنی جیسی ریکارڈنگز پر ٹیسٹ کریں۔
- سب غلطیاں برابر نہیں۔ WER ہر لفظ کو ایک جیسا وزن دیتا ہے۔ غلط اکاؤنٹ نمبر بھی ایک غلطی گنا جاتا ہے، بالکل غائب “the” کی طرح۔ صرف اسکور نہیں، ٹرانسکرپٹ بھی پڑھیں۔
BroadNet Inference پر
BroadNet BroadNet Transcribe Arabic کے لیے اپنی لیب پیمائشیں شائع کرتا ہے:
| ٹیسٹ سیٹ | یہ کیا ہے | WER (%) |
|---|---|---|
| FLEURS-ar | صاف پڑھے گئے جملے | 3.8 |
| MASC-ar | حقیقی دنیا کی ملی جلی عربی اسپیچ | 21.1 |
| BroadNet لہجہ سیٹ | لہجے والی اسپیچ | 23.4 |
3.8 اور 23.4 کا فرق دکھاتا ہے کہ آپ کا اپنا ٹیسٹ کیوں ضروری ہے۔ BroadNet یہ بھی بتاتا ہے کہ Open Universal Arabic ASR Leaderboard پر یہ ماڈل 37 میں سے #2 (یہ ستمبر 2026 کی پوزیشن ہے؛ 15 نومبر، 2026 کو لائیو لیڈر بورڈ پر یہ 39 میں سے #4 تھا) پر ہے۔ $5 کا ابتدائی کریڈٹ تقریباً 1,190 منٹ عربی آڈیو کا احاطہ کرتا ہے، جو ایک ٹیسٹ سیٹ کے لیے کافی ہے۔ خریدار گائیڈ میں ایک گھنٹے کا ٹیسٹ پلان ہے، اور عربی گائیڈ میں کوڈ۔