BroadRouter

عربی ASR میں word error rate (WER) کیا ہے، آسان الفاظ میں

BroadNet Inference ٹیم · 5 منٹ کی پڑھائی · شائع شدہ

Word error rate (WER) بدلے گئے، حذف شدہ اور اضافی الفاظ کی تعداد کو ریفرنس ٹرانسکرپٹ کے الفاظ سے تقسیم کرنے پر ملتا ہے۔ کم بہتر ہے۔ عربی WER کا موازنہ مشکل ہے کیونکہ اعراب، الف اور تائے مربوطہ کی املا اور لہجے اسے بڑھا دیتے ہیں۔ BroadNet، BroadNet Transcribe Arabic کے لیے FLEURS-ar پر 3.8 اور لہجے والی آواز پر 23.4 WER رپورٹ کرتا ہے۔

Word error rate (WER) بدلے گئے، حذف شدہ اور اضافی الفاظ کی تعداد کو درست ٹرانسکرپٹ کے الفاظ کی تعداد سے تقسیم کرنے پر ملتا ہے۔ کم بہتر ہے۔ عربی WER آسانی سے پھول جاتا ہے: ایک ہی درست ٹرانسکرپٹ کئی طریقوں سے لکھی جا سکتی ہے، اور سیدھا سادہ موازنہ املا کے ہر انتخاب، ہر اعراب اور لہجے کی ہر املا کو غلطی گنتا ہے۔

یہ پوسٹ بتاتی ہے کہ WER کیا ناپتا ہے، عربی اسے پھسلن والا کیوں بناتی ہے، اور اسے کیسے نکالیں تاکہ آپ کے نمبروں کا کوئی مطلب ہو۔ ٹیسٹ سیٹ خود بنانے کے لیے عربی لہجوں کی speech recognition دیکھیں؛ فراہم کنندہ چننے کے لیے عربی speech-to-text API خریدار گائیڈ دیکھیں۔

Word error rate کیا ہے؟

Word error rate مشین کی ٹرانسکرپٹ (hypothesis) کا موازنہ انسان کی درست ٹرانسکرپٹ (ریفرنس) سے کرتا ہے۔ یہ الفاظ کی وہ کم سے کم تبدیلیاں ڈھونڈتا ہے جو ایک کو دوسرے میں بدل دیں:

  • S، substitutions: ایک لفظ کی جگہ دوسرا لفظ۔
  • D، deletions: ریفرنس کا کوئی لفظ جو hypothesis میں نہیں۔
  • I، insertions: hypothesis میں ایک اضافی لفظ۔

پھر:

WER = (S + D + I) / N، جہاں N ریفرنس کے الفاظ کی تعداد ہے۔

0.10 کا WER (جسے اکثر 10 لکھا جاتا ہے) یعنی ریفرنس کے تقریباً ہر دس الفاظ پر ایک غلطی۔ کم بہتر ہے۔ چونکہ insertions گنے جاتے ہیں، گھڑے ہوئے الفاظ سے بھری ٹرانسکرپٹ کا WER 100% سے اوپر جا سکتا ہے۔

Character error rate (CER) وہی فارمولا ہے، حروف پر۔ یہ عربی کے لیے مفید ہے، جہاں سابقے میں ایک غلط حرف پورے لفظ کو غلط گنوا دیتا ہے۔

عربی WER کا موازنہ مشکل کیوں ہے؟

1. اعراب

عربی کے چھوٹے حروفِ علت حروف کے اوپر اور نیچے اختیاری نشانات (تشکیل) کے طور پر لکھے جاتے ہیں: فتحہ، ضمہ، کسرہ، سکون، شدہ اور تنوین۔ روزمرہ متن میں یہ نہیں ہوتے۔ اگر آپ کے ریفرنس میں “مَدْرَسَةٌ” ہے اور ماڈل “مدرسة” لکھتا ہے، تو سخت موازنہ اسے substitution گنتا ہے، حالانکہ کوئی بھی عربی قاری اسے ایک ہی لفظ دیکھتا ہے۔

2. املا کی شکلیں

کئی حروف کی عام، مانی ہوئی شکلیں ہیں:

فرق مثال عام نارملائزیشن
الف پر ہمزہ أحمد / احمد، إلى / الى أ إ آ کو ا میں بدلیں
تائے مربوطہ بمقابلہ ہا مدرسة / مدرسه ة کو ه میں بدلیں
الف مقصورہ بمقابلہ یا على / علي (ڈھیلی تحریر میں) ى کو ي میں بدلیں
الف کے ساتھ تنوین صباحاً / صباحا اعراب ہٹائیں
تطویل (کھنچاؤ) جـمـيـل / جميل ـ ہٹائیں

3. Clitics اور الفاظ کی حدیں

عربی حروفِ عطف، حروفِ جار اور ضمائر کو الفاظ سے جوڑ دیتی ہے: “وبمدرستهم” کا مطلب “اور ان کے اسکول میں” ہے، ایک لکھے ہوئے لفظ میں۔ اگر ماڈل space کے ساتھ “و بمدرستهم” لکھے تو الفاظ کی گنتی بدل جاتی ہے اور WER دو بار سزا دیتا ہے۔ کچھ جائزے پہلے الفاظ کو morphemes میں توڑتے ہیں؛ زیادہ تر نہیں۔ جان لیں کہ آپ کون سا پڑھ رہے ہیں۔

4. لہجے

جدید معیاری عربی کے برعکس لہجے والی آواز کی کوئی معیاری املا نہیں۔ مصری بولنے والے کا “مجھے چاہیے” “عايز” یا “عاوز” لکھا جا سکتا ہے؛ خلیجی کا “کیا” “وش” یا “ويش” ہو سکتا ہے۔ کچھ ٹرانسکرائبرز لہجے کو MSA میں “درست” بھی کر دیتے ہیں۔ معنی بالکل درست ہونے پر بھی ان میں سے ہر ایک WER کی غلطی ہے۔ لہجے کا WER پڑھی گئی آواز کے WER سے اتنا زیادہ ہونے کی بڑی وجہ یہی ہے۔

5. نمبر اور code-switching

بولنے والے اکثر جملے کے بیچ انگریزی میں چلے جاتے ہیں (code-switching)۔ یہ “٢٥” ہے، “25” یا “خمسة وعشرين”؟ انگریزی برانڈ نام لاطینی رسم الخط میں لکھا جائے یا عربی حروف میں؟ ایک اصول طے کریں، اسے ریفرنس پر لاگو کریں، اور hypothesis کو اسی کے مطابق نارملائز کریں۔

نارملائزیشن اسکور کو کتنا بدلتی ہے؟

ریفرنس: ذهبت إلى المدرسة صباحاً (“میں صبح اسکول گیا”)

Hypothesis: ذهبت الى المدرسه صباحا

نارملائزیشن کے بغیر چار میں سے تین الفاظ مختلف ہیں (إلى/الى، المدرسة/المدرسه، صباحاً/صباحا): WER 75%۔ دونوں متن نارملائز کرنے کے بعد وہ ایک جیسے ہیں: WER 0%۔ وہی ٹرانسکرپٹ، وہی معیار، اور نمبر بہت برے سے بالکل درست پر پہنچ گیا۔ اسی لیے نارملائزیشن کے اصولوں کے بغیر WER کا عدد بہت کم بتاتا ہے۔

Python میں عربی WER کیسے نکالیں؟

import re
import jiwer  # pip install jiwer

DIACRITICS = re.compile(r"[ً-ْٰ]")   # tanween, harakat, shadda, sukun, dagger alef
PUNCT = re.compile(r"[^\w\s]")

def normalise_ar(text: str) -> str:
    text = DIACRITICS.sub("", text)
    text = text.replace("ـ", "")                # tatweel
    text = re.sub("[أإآٱ]", "ا", text)
    text = text.replace("ى", "ي").replace("ة", "ه")
    text = text.translate(str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789"))
    text = PUNCT.sub(" ", text)
    return " ".join(text.split())

refs = ["ذهبت إلى المدرسة صباحاً"]
hyps = ["ذهبت الى المدرسه صباحا"]

print("raw WER:", jiwer.wer(refs, hyps))
print("normalised WER:", jiwer.wer([normalise_ar(r) for r in refs], [normalise_ar(h) for h in hyps]))
print("normalised CER:", jiwer.cer([normalise_ar(r) for r in refs], [normalise_ar(h) for h in hyps]))

بالکل یہی فنکشن references اور hypotheses پر لگائیں، ہر اس ماڈل کے لیے جس کا آپ موازنہ کرتے ہیں۔ اسے اپنے نمبروں کے ساتھ شائع کریں۔

BroadNet عربی کے لیے کتنا WER رپورٹ کرتا ہے؟

BroadNet اپنے ماڈل کیٹلاگ میں BroadNet Transcribe Arabic کی لیب پیمائشیں شائع کرتا ہے:

ٹیسٹ سیٹ یہ کیا ہے BroadNet کا رپورٹ کردہ WER
FLEURS-ar صاف پڑھے گئے جملے 3.8
MASC-ar حقیقی دنیا کی ملی جلی عربی آواز 21.1
BroadNet لہجہ سیٹ لہجے والی آواز 23.4

BroadNet یہ بھی رپورٹ کرتا ہے کہ Open Universal Arabic ASR Leaderboard پر ماڈل 37 میں سے #2 (یہ ستمبر 2026 کی پوزیشن ہے؛ 15 نومبر، 2026 کو لائیو لیڈر بورڈ پر یہ 39 میں سے #4 تھا) پر ہے، اور ان ماڈلز میں #1 ہے جن کے لائسنس API کے ذریعے سرو کرنے کی اجازت دیتے ہیں۔ یہ BroadNet کے اعداد و شمار ہیں، آزاد آڈٹ نہیں۔ leaderboard ہر ماڈل پر ایک ہی جائزہ سیٹ اپ لگاتا ہے، جس سے اس کے رینک الگ الگ وینڈر صفحات کے نمبروں سے زیادہ قابلِ موازنہ بنتے ہیں۔

صرف بہترین نمبر نہیں، پھیلاؤ پڑھیں۔ 3.8 سے 23.4 کی چھلانگ ایک ہی ماڈل کے لیے پڑھی گئی آواز اور بے ساختہ لہجے کا فرق ہے، اس لیے ہر امیدوار کو دونوں طرح کی آڈیو پر ٹیسٹ کریں۔ آپ کی اپنی آڈیو، چاہے کال سینٹر لائنیں ہوں، WhatsApp وائس نوٹس یا میٹنگز، اسی حد میں کہیں آئے گی، اور کہاں، یہ صرف ٹیسٹ بتاتا ہے۔

اپنی آڈیو پر WER کیسے ناپیں؟

  1. حالات کے مطابق نمونہ لیں۔ کلپس کو لہجے اور چینل (فون، وائس نوٹ، اسٹوڈیو) کے لحاظ سے گروپس میں بانٹیں۔ لہجہ ٹیسٹ سیٹ کا طریقہ نمونے کے سائز اور املا کے اصول بتاتا ہے۔
  2. ہر امیدوار سے ٹرانسکرائب کریں۔ BroadNet کے لیے language=ar بھیجیں؛ اس کے بغیر عربی لاطینی حروف میں transliterate ہو کر واپس آ سکتی ہے۔ کوڈ عربی speech-to-text گائیڈ میں ہے، اور $5 کا ابتدائی کریڈٹ تقریباً 1,190 منٹ کی آڈیو کا احاطہ کرتا ہے۔
  3. نارملائز کریں اور اسکور کریں۔ اوپر والا فنکشن استعمال کریں، ہر گروپ کا WER اور CER رپورٹ کریں۔
  4. غلطیاں پڑھیں۔ substitutions کو تعداد کے لحاظ سے ترتیب دیں۔ اگر سب سے اوپر کی غلطیاں نام، رقمیں یا پروڈکٹ کوڈ ہیں، تو کاروبار پر اثر اسکور سے کہیں بڑا ہے۔

WER کے علاوہ کیا ناپیں؟

WER ہر لفظ کو برابر سمجھتا ہے، لیکن آپ کی پروڈکٹ نہیں۔ سپورٹ بوٹ کو ارادے کی فکر ہے؛ انوائسنگ ورک فلو کو نمبروں کی؛ کمپلائنس ٹیم کو مخصوص جملوں کی۔ WER کے ساتھ ایک ٹاسک میٹرک شامل کریں: LLM کے ٹرانسکرپٹ پڑھنے کے بعد ارادے کی درستگی، یا نکالی گئی رقموں پر exact match۔ تھوڑے زیادہ WER والا ماڈل بھی جیت سکتا ہے، اگر اس کی غلطیاں ان الفاظ پر پڑیں جو اہم نہیں۔

لاگت کے لیے اپنے ماہانہ آڈیو گھنٹے مفت speech-to-text لاگت کیلکولیٹر میں ڈالیں، اور دیکھیں کہ عربی اور 14 زبانوں والے ماڈلز BroadNet Transcribe بمقابلہ Transcribe Arabic میں کیسے مختلف ہیں۔

عام سوالات

عربی کے لیے اچھا WER کتنا ہوتا ہے؟

صاف پڑھی گئی آواز پر ایک ہندسے والا WER ممکن ہے؛ BroadNet، FLEURS-ar پر 3.8 رپورٹ کرتا ہے۔ حقیقی دنیا اور لہجے والی آڈیو پر کہیں زیادہ نمبروں کی توقع رکھیں؛ BroadNet، MASC-ar پر 21.1 اور اپنے لہجہ سیٹ پر 23.4 رپورٹ کرتا ہے۔ ماڈلز کا موازنہ اپنی آڈیو پر، ایک ہی نارملائزیشن کے ساتھ کریں۔

کیا عربی WER نکالنے سے پہلے اعراب ہٹا دینے چاہییں؟

عموماً ہاں۔ زیادہ تر عربی چھوٹے حروفِ علت کے نشانات کے بغیر لکھی جاتی ہے، اور ماڈلز انہیں بے ترتیبی سے لگاتے ہیں۔ جب تک آپ کی پروڈکٹ کو اعراب والا متن نہ چاہیے، انہیں ریفرنس اور hypothesis دونوں سے ہٹا دیں۔

CER کیا ہے اور اسے کب استعمال کریں؟

Character error rate وہی حساب ہے، الفاظ کی جگہ حروف پر۔ یہ عربی پر کم سخت ہے، جہاں سابقے کا ایک غلط حرف پورے لفظ کو غلط بنا دیتا ہے، اور WER کے ساتھ مفید ہے۔

کیا WER 100% سے زیادہ ہو سکتا ہے؟

ہاں۔ insertions بھی غلطی گنے جاتے ہیں، اس لیے بہت سے اضافی الفاظ گھڑنے والا ماڈل ریفرنس کے الفاظ سے زیادہ غلطیاں کر سکتا ہے۔

Python میں عربی کا WER کیسے نکالوں؟

jiwer انسٹال کریں، ریفرنس اور ماڈل آؤٹ پٹ دونوں کو ایک ہی فنکشن سے نارملائز کریں (اعراب اور تطویل ہٹائیں، الف، یا اور تائے مربوطہ کو یکساں کریں، مشرقی عربی ہندسے بدلیں)، پھر jiwer.wer(references, hypotheses) کال کریں۔ اسکور کے ساتھ نارملائزیشن بھی لکھیں۔

عربی کا WER انگریزی سے زیادہ کیوں ہوتا ہے؟

کچھ اصل مشکل کی وجہ سے (لہجے، clitics، code-switching) اور کچھ اسکورنگ کی وجہ سے: عربی میں املا کی مانی ہوئی شکلیں اور اختیاری اعراب ہیں، اور سخت موازنہ ہر ایک کو غلطی گنتا ہے۔ دونوں متن نارملائز کرنے سے اسکورنگ والا حصہ ختم ہو جاتا ہے۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں