BroadRouter
ابدأ الآن

معدل الخطأ في الحروف (CER)

آخر تحديث

معدل الخطأ في الحروف (CER) يقيس دقة التفريغ الصوتي أو OCR على مستوى الحرف: عدد الاستبدالات والحذوفات والإضافات اللازمة لتحويل المخرجات إلى النص المرجعي، مقسومًا على عدد حروف النص المرجعي. والأقل أفضل، والصفر يعني تطابقًا تامًا.

يُسمّى أيضًا: معدل الخطأ في الحروف، معدل خطأ الحروف، نسبة الخطأ في الحروف، CER، character error rate

يسأل WER: كم كلمة كانت خاطئة؟ ويسأل CER: كم حرفًا كان خاطئًا؟ وهذا غالبًا السؤال الأنصف للعربية.

كيف يعمل

يستخدم CER فكرة مسافة التعديل نفسها التي يستخدمها معدل الخطأ في الكلمات، لكن على الحروف. وتعطي بطاقة المقياس في Hugging Face الصيغة:

CER = (S + D + I) / N، حيث S عدد الاستبدالات، وD عدد الحذوفات، وI عدد الإضافات، وN عدد الحروف في النص المرجعي (N = S + D + C، وC هي الحروف الصحيحة).

مثال عربي محلول. النص المرجعي «وبالكتاب» (كلمة واحدة من 8 حروف). والنص المفرّغ «وبلكتاب»، ينقصه ألف واحد:

المقياس الأخطاء وحدات المرجع النتيجة
WER كلمة واحدة خاطئة كلمة واحدة 1.0 (100%)
CER حرف واحد محذوف 8 حروف 0.125 (12.5%)

حرف واحد ناقص يجعل الكلمة كلها خاطئة في WER. أما CER فيبيّن أن النص المفرّغ كان شبه صحيح.

في Python، تحسبه حزمة jiwer بالدالة jiwer.cer(reference, hypothesis)، وتُرجع jiwer.process_characters المحاذاة أيضًا. وحّد الطرفين أولًا، كما في WER: علامات الترقيم والمسافات، وفي العربية التشكيل وأشكال الألف أو الياء. راجع توحيد النص العربي.

لماذا يهم

  • الصرف العربي. تُلحق العربية حروف العطف والجر والضمائر بالكلمات، فقد تحمل كلمة واحدة ما تكتبه الإنجليزية في ثلاث كلمات أو أربع. وحرف سابقة واحد خاطئ يكلّف كلمة كاملة في WER، بينما يزنه CER حرفًا واحدًا.
  • اللغات التي لا تستخدم المسافات. يحتاج WER إلى حدود الكلمات. وتقول بطاقة Hugging Face إن CER مفيد “especially for multilingual datasets where WER is not suitable given the diversity of languages.” (ترجمة: خصوصًا لمجموعات البيانات متعددة اللغات التي لا يناسبها WER بسبب تنوع اللغات).
  • نوع الخطأ. النموذج ذو WER مرتفع وCER منخفض يكاد يصيب الكلمات: أخطاء إملائية أو في الهمزة أو في السوابق واللواحق، قد يصلحها التوحيد أو خطوة تصحيح. أما CER المرتفع فيعني أن النموذج يفوّت كلمات أو محتوى بأكمله.
  • وOCR أيضًا. المقياس نفسه يقيّم النص المقروء من الصور، فهو مفيد حين تقارن سلاسل معالجة التعرف الضوئي على النص (OCR).

وتحذّر بطاقة المقياس أيضًا من أن CER لا يخبرك لماذا تحدث الأخطاء. اقرأ عينات من النصوص المفرّغة إلى جانب النتيجة.

في BroadNet Inference

تنشر BroadNet قيم WER، لا CER، لنموذجي BroadNet Transcribe Arabic وBroadNet Transcribe. وللحصول على CER، فرّغ مجموعة اختبار من تسجيلاتك وقيّمها بنفسك. يحتوي مقال شرح WER للعربية على دالة توحيد وسكربت jiwer يطبع WER وCER معًا، ويحتوي دليل تحويل الصوت العربي إلى نص على شيفرة الطلب. أرسل دائمًا language=ar: فبدونه قد تعود العربية مكتوبة بحروف لاتينية، وهذا يفسد النتيجتين.

أخطاء شائعة

  • عدّ المسافات بطريقة غير متسقة. قرّر هل تُعدّ المسافات حروفًا، وطبّق القاعدة نفسها على كل نموذج تقارنه.
  • مقارنة CER لديك بـ WER لدى غيرك. هما مقياسان مختلفان. قارن المثيل بمثيله.

أسئلة شائعة

هل يمكن أن يتجاوز CER نسبة 100%؟

نعم. تذكر بطاقة المقياس في Hugging Face أن CER لا يقع دائمًا بين 0 و1، خاصةً حين يحتوي النص المفرّغ على إضافات كثيرة، لأن المقام لا يعدّ إلا حروف النص المرجعي.

هل أنشر CER أم WER للعربية؟

انشر الاثنين. WER هو ما تذكره لوحات المتصدرين والمزوّدون، فتحتاج إليه للمقارنة. أما CER فيبيّن هل الأخطاء كلمات خاطئة بالكامل أم حرف أو سابقة متصلة هنا وهناك، وهو ما يخفيه WER.

هل تنشر BroadNet قيم CER لنماذج التفريغ الصوتي لديها؟

لا. تنشر BroadNet قيم WER فقط. وللحصول على CER، قيّم مجموعة اختبارك بأداة مثل jiwer.

اقرأها بصيغة Markdownاسأل ChatGPTاسأل Claudeاسأل Perplexity