BroadRouter

معدل خطأ الكلمات (WER) في التعرّف على الكلام العربي: شرح مبسّط

بقلم فريق BroadNet Inference · قراءة في 5 دقائق · تاريخ النشر

معدل خطأ الكلمات (WER) هو عدد الكلمات المستبدلة والمحذوفة والمُدرجة مقسومًا على عدد كلمات النص المرجعي. وكلما انخفض كان أفضل. تصعب مقارنة WER العربي لأن التشكيل وإملاء الألف والتاء المربوطة واللهجات ترفعه. تذكر BroadNet أن BroadNet Transcribe Arabic سجّل 3.8 على FLEURS-ar و23.4 على كلام اللهجات.

معدل خطأ الكلمات (WER) هو عدد الكلمات المستبدلة والمحذوفة والمُدرجة مقسومًا على عدد كلمات النص الصحيح. وكلما انخفض كان أفضل. ومن السهل تضخيم WER العربي: فالنص الصحيح نفسه يمكن كتابته بعدة طرق، والمقارنة الساذجة تعدّ كل اختيار إملائي وكل علامة تشكيل وكل كتابة للهجة خطأً.

يشرح هذا المقال ما يقيسه WER، ولماذا تجعله العربية زلقًا، وكيف تحسبه بحيث يكون لأرقامك معنى. لبناء مجموعة الاختبار نفسها، راجع التعرّف على كلام اللهجات العربية؛ ولاختيار مزوّد، راجع دليل شراء API لتحويل الصوت العربي إلى نص.

ما معدل خطأ الكلمات؟

يقارن معدل خطأ الكلمات النصَّ الذي تنتجه الآلة (الفرضية) بنص بشري صحيح (المرجع). ويجد أقل عدد من تعديلات الكلمات يحوّل أحدهما إلى الآخر:

  • S، الاستبدالات: كلمة استُبدلت بكلمة أخرى.
  • D، الحذوفات: كلمة من المرجع غائبة عن الفرضية.
  • I، الإدراجات: كلمة زائدة في الفرضية.

ثم:

WER = (S + D + I) / N، حيث N عدد الكلمات في المرجع.

قيمة WER البالغة 0.10 (وتُكتب غالبًا 10) تعني نحو خطأ واحد لكل عشر كلمات مرجعية. وكلما انخفضت كان أفضل. ولأن الإدراجات تُحتسب، يمكن أن يتجاوز WER نسبة 100% في نص مليء بالكلمات المختلَقة.

معدل خطأ الحروف (CER) هو المعادلة نفسها على مستوى الحروف. وهو مفيد للعربية، حيث يجعل حرف خاطئ واحد في السابقة الكلمةَ كلها تُعدّ خاطئة.

لماذا تصعب مقارنة WER العربي؟

1. التشكيل

تُكتب الحركات القصيرة في العربية علاماتٍ اختيارية فوق الحروف وتحتها: الفتحة والضمة والكسرة والسكون والشدة والتنوين. والنص اليومي يُسقطها. إذا كان في مرجعك «مَدْرَسَةٌ» وكتب النموذج «مدرسة»، فالمقارنة الصارمة تعدّ ذلك استبدالًا، مع أن أي قارئ عربي يرى الكلمة نفسها.

2. الصيغ الإملائية

لعدة حروف صيغ بديلة شائعة ومقبولة:

الاختلاف مثال التوحيد المعتاد
الهمزة على الألف أحمد / احمد، إلى / الى حوّل أ إ آ إلى ا
التاء المربوطة والهاء مدرسة / مدرسه حوّل ة إلى ه
الألف المقصورة والياء على / علي (في الكتابة غير المدققة) حوّل ى إلى ي
التنوين مع الألف صباحاً / صباحا احذف علامة التشكيل
التطويل (الكشيدة) جـمـيـل / جميل احذف ـ

3. اللواصق وحدود الكلمات

تلصق العربية حروف العطف والجر والضمائر بالكلمات: «وبمدرستهم» تعني “and in their school” في كلمة مكتوبة واحدة. إذا كتبها النموذج «و بمدرستهم» بمسافة، يتغير عدد الكلمات ويعاقبه WER مرتين. بعض التقييمات تجزّئ الكلمات إلى وحدات صرفية أولًا، ومعظمها لا يفعل. اعرف أيّها تقرأ.

4. اللهجات

لا إملاء معياريًا لكلام اللهجات، على عكس العربية الفصحى الحديثة. قد يُكتب قول المتحدث المصري «أريد» على أنه «عايز» أو «عاوز»؛ وقد تُكتب «ماذا» عند المتحدث الخليجي «وش» أو «ويش». وبعض المفرّغين أيضًا «يصحّحون» اللهجة إلى الفصحى. كل واحد من هذه خطأ في WER حتى لو كان المعنى سليمًا تمامًا. وهذا جزء كبير من سبب ارتفاع WER اللهجات كثيرًا عن WER الكلام المقروء.

5. الأرقام والتبديل بين اللغات

كثيرًا ما ينتقل المتحدثون إلى الإنجليزية في منتصف الجملة (التبديل اللغوي). هل تُكتب «٢٥» أم «25» أم «خمسة وعشرين»؟ وهل يُكتب اسم العلامة التجارية الإنجليزي بالحروف اللاتينية أم العربية؟ اختر اصطلاحًا، وطبّقه على المرجع، ووحّد الفرضية وفقه.

كم يغيّر التوحيد النتيجة؟

المرجع: ذهبت إلى المدرسة صباحاً

الفرضية: ذهبت الى المدرسه صباحا

دون توحيد، تختلف ثلاث كلمات من أربع (إلى/الى، المدرسة/المدرسه، صباحاً/صباحا): WER ‏75%. وبعد توحيد النصين يصبحان متطابقين: WER ‏0%. النص نفسه والجودة نفسها، وانتقل الرقم من سيئ جدًا إلى مثالي. لهذا لا يخبرك رقم WER دون قواعد توحيده إلا بالقليل.

كيف تحسب WER العربي بلغة Python؟

import re
import jiwer  # pip install jiwer

DIACRITICS = re.compile(r"[ً-ْٰ]")   # tanween, harakat, shadda, sukun, dagger alef
PUNCT = re.compile(r"[^\w\s]")

def normalise_ar(text: str) -> str:
    text = DIACRITICS.sub("", text)
    text = text.replace("ـ", "")                # tatweel
    text = re.sub("[أإآٱ]", "ا", text)
    text = text.replace("ى", "ي").replace("ة", "ه")
    text = text.translate(str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789"))
    text = PUNCT.sub(" ", text)
    return " ".join(text.split())

refs = ["ذهبت إلى المدرسة صباحاً"]
hyps = ["ذهبت الى المدرسه صباحا"]

print("raw WER:", jiwer.wer(refs, hyps))
print("normalised WER:", jiwer.wer([normalise_ar(r) for r in refs], [normalise_ar(h) for h in hyps]))
print("normalised CER:", jiwer.cer([normalise_ar(r) for r in refs], [normalise_ar(h) for h in hyps]))

طبّق الدالة نفسها تمامًا على المراجع والفرضيات، ولكل نموذج تقارنه. وانشرها بجانب أرقامك.

ما قيمة WER التي تذكرها BroadNet للعربية؟

تنشر BroadNet قياسات مخبرية لنموذج BroadNet Transcribe Arabic في كتالوج نماذجها:

مجموعة الاختبار ماهيتها WER كما تذكره BroadNet
FLEURS-ar جمل مقروءة نظيفة 3.8
MASC-ar كلام عربي واقعي متنوع 21.1
مجموعة اللهجات لدى BroadNet كلام باللهجات 23.4

وتذكر BroadNet أيضًا أن النموذج في المرتبة #2 من أصل 37 (وهو رقمها لشهر سبتمبر 2026؛ وأدرجته اللوحة المباشرة في المرتبة #4 من أصل 39 في 15 نوفمبر 2026) على لوحة صدارة Open Universal Arabic ASR، والأول بين النماذج التي تسمح تراخيصها بتقديمها عبر API. هذه أرقام BroadNet، لا تدقيقات مستقلة. تطبّق لوحة الصدارة إعداد تقييم واحدًا على كل النماذج، ما يجعل ترتيبها أكثر قابلية للمقارنة من أرقام صفحات المزوّدين المنفصلة.

اقرأ المدى، لا أفضل رقم فقط. القفزة من 3.8 إلى 23.4 هي الفجوة بين الكلام المقروء وكلام اللهجات العفوي لنموذج واحد، فاختبر كل مرشّح على النوعين من الصوت. وصوتك أنت، سواء كان مكالمات مركز اتصال أو رسائل واتساب صوتية أو اجتماعات، سيقع في مكان ما ضمن هذا المدى، ولا يخبرك بموضعه إلا الاختبار.

كيف تقيس WER على صوتك أنت؟

  1. خذ عينات بحسب الظروف. صنّف المقاطع بحسب اللهجة والقناة (هاتف، رسالة صوتية، استوديو). تشرح طريقة بناء مجموعة اختبار اللهجات أحجام العينات واصطلاحات الإملاء.
  2. فرّغ بكل مرشّح. مع BroadNet أرسل language=ar؛ فمن دونه قد يعود النص العربي محوّلًا إلى حروف لاتينية. يتضمن دليل تحويل الكلام العربي إلى نص الشيفرة، ويغطي الرصيد الابتدائي $5 نحو 1,190 دقيقة من الصوت.
  3. وحّد واحسب. استخدم الدالة أعلاه، واذكر WER وCER لكل مجموعة.
  4. اقرأ الأخطاء. رتّب الاستبدالات بحسب تكرارها. إذا كانت أكثر الأخطاء أسماءً أو مبالغ أو رموز منتجات، فالأثر على العمل أكبر مما توحي به النتيجة.

ماذا تقيس إلى جانب WER؟

يعامل WER كل الكلمات بالتساوي، لكن منتجك لا يفعل. بوت الدعم يهتم بالنية؛ ومسار الفوترة يهتم بالأرقام؛ وفريق الامتثال يهتم بعبارات محددة. أضف مقياسًا للمهمة بجانب WER: دقة تحديد النية بعد أن يقرأ LLM النص المفرّغ، أو التطابق التام للمبالغ المستخرجة. قد يفوز نموذج ذو WER أعلى قليلًا إذا وقعت أخطاؤه على كلمات لا تهم.

ولجانب التكلفة، أدخل ساعات الصوت الشهرية في حاسبة تكلفة تحويل الكلام إلى نص المجانية، واطّلع على الفرق بين النموذج العربي والنموذج ذي اللغات الأربع عشرة في BroadNet Transcribe مقابل Transcribe Arabic.

أسئلة شائعة

ما قيمة WER الجيدة للعربية؟

على الكلام المقروء النظيف يمكن بلوغ رقم من خانة واحدة؛ إذ تذكر BroadNet ‏3.8 على FLEURS-ar. أما على الصوت الواقعي وصوت اللهجات فتوقّع أرقامًا أعلى بكثير؛ تذكر BroadNet ‏21.1 على MASC-ar و23.4 على مجموعة اللهجات الخاصة بها. قارن النماذج على صوتك أنت بقواعد التوحيد نفسها.

هل أحذف التشكيل قبل حساب WER للعربية؟

نعم في الغالب. معظم النصوص العربية تُكتب دون حركات قصيرة، والنماذج تضيفها بشكل غير متّسق. احذفه من النص المرجعي ومن مخرجات النموذج معًا، إلا إن كان منتجك يحتاج نصًا مشكولًا.

ما CER ومتى أستخدمه؟

معدل خطأ الحروف هو الحساب نفسه على مستوى الحروف بدل الكلمات. وهو أقل قسوة على العربية، حيث يجعل حرفٌ خاطئ واحد في السابقة الكلمةَ كلها خاطئة، ومفيد إلى جانب WER.

هل يمكن أن يتجاوز WER نسبة 100%؟

نعم. الإدراجات تُحتسب أخطاءً، فالنموذج الذي يختلق كلمات زائدة كثيرة قد يرتكب أخطاء أكثر من عدد كلمات النص المرجعي.

كيف أحسب WER للعربية بلغة Python؟

ثبّت jiwer، ووحّد النص المرجعي ومخرجات النموذج بالدالة نفسها (احذف التشكيل والتطويل، ووحّد الألف والياء والتاء المربوطة، وحوّل الأرقام العربية المشرقية)، ثم استدعِ jiwer.wer(references, hypotheses). واذكر قواعد التوحيد بجانب النتيجة.

لماذا يكون WER العربي أعلى من الإنجليزي؟

جزء منه صعوبة حقيقية (اللهجات، والضمائر والحروف المتصلة، والتبديل بين اللغات)، وجزء منه طريقة الحساب: للعربية صيغ إملائية مقبولة وتشكيل اختياري، والمقارنة الصارمة تعدّ كلًّا منها خطأً. توحيد النصين يزيل جزء الحساب.

اقرأها بصيغة Markdownاسأل ChatGPTاسأل Claudeاسأل Perplexity