يسأل WER: كم كلمة كانت خاطئة؟ ويسأل CER: كم حرفًا كان خاطئًا؟ وهذا غالبًا السؤال الأنصف للعربية.
كيف يعمل
يستخدم CER فكرة مسافة التعديل نفسها التي يستخدمها معدل الخطأ في الكلمات، لكن على الحروف. وتعطي بطاقة المقياس في Hugging Face الصيغة:
CER = (S + D + I) / N، حيث S عدد الاستبدالات، وD عدد الحذوفات، وI عدد الإضافات، وN عدد الحروف في النص المرجعي (N = S + D + C، وC هي الحروف الصحيحة).
مثال عربي محلول. النص المرجعي «وبالكتاب» (كلمة واحدة من 8 حروف). والنص المفرّغ «وبلكتاب»، ينقصه ألف واحد:
| المقياس | الأخطاء | وحدات المرجع | النتيجة |
|---|---|---|---|
| WER | كلمة واحدة خاطئة | كلمة واحدة | 1.0 (100%) |
| CER | حرف واحد محذوف | 8 حروف | 0.125 (12.5%) |
حرف واحد ناقص يجعل الكلمة كلها خاطئة في WER. أما CER فيبيّن أن النص المفرّغ كان شبه صحيح.
في Python، تحسبه حزمة jiwer بالدالة jiwer.cer(reference, hypothesis)، وتُرجع jiwer.process_characters المحاذاة أيضًا. وحّد الطرفين أولًا، كما في WER: علامات الترقيم والمسافات، وفي العربية التشكيل وأشكال الألف أو الياء. راجع توحيد النص العربي.
لماذا يهم
- الصرف العربي. تُلحق العربية حروف العطف والجر والضمائر بالكلمات، فقد تحمل كلمة واحدة ما تكتبه الإنجليزية في ثلاث كلمات أو أربع. وحرف سابقة واحد خاطئ يكلّف كلمة كاملة في WER، بينما يزنه CER حرفًا واحدًا.
- اللغات التي لا تستخدم المسافات. يحتاج WER إلى حدود الكلمات. وتقول بطاقة Hugging Face إن CER مفيد “especially for multilingual datasets where WER is not suitable given the diversity of languages.” (ترجمة: خصوصًا لمجموعات البيانات متعددة اللغات التي لا يناسبها WER بسبب تنوع اللغات).
- نوع الخطأ. النموذج ذو WER مرتفع وCER منخفض يكاد يصيب الكلمات: أخطاء إملائية أو في الهمزة أو في السوابق واللواحق، قد يصلحها التوحيد أو خطوة تصحيح. أما CER المرتفع فيعني أن النموذج يفوّت كلمات أو محتوى بأكمله.
- وOCR أيضًا. المقياس نفسه يقيّم النص المقروء من الصور، فهو مفيد حين تقارن سلاسل معالجة التعرف الضوئي على النص (OCR).
وتحذّر بطاقة المقياس أيضًا من أن CER لا يخبرك لماذا تحدث الأخطاء. اقرأ عينات من النصوص المفرّغة إلى جانب النتيجة.
في BroadNet Inference
تنشر BroadNet قيم WER، لا CER، لنموذجي BroadNet Transcribe Arabic وBroadNet Transcribe. وللحصول على CER، فرّغ مجموعة اختبار من تسجيلاتك وقيّمها بنفسك. يحتوي مقال شرح WER للعربية على دالة توحيد وسكربت jiwer يطبع WER وCER معًا، ويحتوي دليل تحويل الصوت العربي إلى نص على شيفرة الطلب. أرسل دائمًا language=ar: فبدونه قد تعود العربية مكتوبة بحروف لاتينية، وهذا يفسد النتيجتين.
أخطاء شائعة
- عدّ المسافات بطريقة غير متسقة. قرّر هل تُعدّ المسافات حروفًا، وطبّق القاعدة نفسها على كل نموذج تقارنه.
- مقارنة CER لديك بـ WER لدى غيرك. هما مقياسان مختلفان. قارن المثيل بمثيله.