WER पूछता है कि कितने शब्द ग़लत थे। CER पूछता है कि कितने अक्षर ग़लत थे, जो अरबी के लिए अक्सर ज़्यादा उचित सवाल है।
यह कैसे काम करता है
CER वही edit-distance विचार इस्तेमाल करता है जो word error rate करता है, बस कैरेक्टर पर। Hugging Face metric card फ़ॉर्मूला देता है:
CER = (S + D + I) / N, जहाँ S substitutions हैं, D deletions, I insertions और N रेफ़रंस में कैरेक्टर की संख्या (N = S + D + C, जहाँ C सही कैरेक्टर हैं)।
एक अरबी उदाहरण। रेफ़रंस “وبالكتاب” है (“और किताब के साथ”, एक शब्द, 8 अक्षर)। ट्रांसक्रिप्ट “وبلكتاب” है, जिसमें एक alef गायब है:
| मीट्रिक | ग़लतियाँ | रेफ़रंस इकाइयाँ | स्कोर |
|---|---|---|---|
| WER | 1 ग़लत शब्द | 1 शब्द | 1.0 (100%) |
| CER | 1 हटाया गया अक्षर | 8 कैरेक्टर | 0.125 (12.5%) |
एक गायब अक्षर WER के लिए पूरा शब्द ग़लत कर देता है। CER दिखाता है कि ट्रांसक्रिप्ट लगभग सही था।
Python में jiwer पैकेज इसे jiwer.cer(reference, hypothesis) से निकालता है, और jiwer.process_characters alignment भी लौटाता है। WER की तरह पहले दोनों तरफ़ नॉर्मलाइज़ करें: विराम चिह्न, स्पेसिंग, और अरबी के लिए डायक्रिटिक्स और alef या yaa के रूप। अरबी टेक्स्ट नॉर्मलाइज़ेशन देखें।
यह क्यों मायने रखता है
- अरबी की रूप-रचना। अरबी में conjunctions, prepositions और सर्वनाम clitics के रूप में शब्दों से जुड़ते हैं, इसलिए एक शब्द में वह आ सकता है जो अंग्रेज़ी तीन या चार शब्दों में लिखती है। prefix का एक ग़लत अक्षर WER में पूरा शब्द ले डूबता है। CER उसे एक कैरेक्टर गिनता है।
- बिना स्पेस वाली भाषाएँ। WER को शब्दों की सीमाएँ चाहिए। Hugging Face card कहता है कि CER उपयोगी है “especially for multilingual datasets where WER is not suitable given the diversity of languages.” (अनुवाद: ख़ासकर बहुभाषी डेटासेट के लिए, जहाँ भाषाओं की विविधता के कारण WER उपयुक्त नहीं।)
- ग़लती का प्रकार। ऊँचा WER पर कम CER वाला मॉडल शब्द लगभग सही कर रहा है: वर्तनी, hamza या clitic की चूक, जिन्हें नॉर्मलाइज़ेशन या सुधार वाला चरण ठीक कर सकता है। ऊँचा CER मतलब मॉडल पूरे शब्द या सामग्री चूक रहा है।
- OCR भी। यही मीट्रिक इमेज से पढ़े गए टेक्स्ट को स्कोर करता है, इसलिए OCR पाइपलाइन की तुलना में काम आता है।
Metric card यह चेतावनी भी देता है कि CER यह नहीं बताता कि ग़लतियाँ क्यों होती हैं। स्कोर के साथ सैंपल ट्रांसक्रिप्ट भी पढ़ें।
BroadNet Inference पर
BroadNet BroadNet Transcribe Arabic और BroadNet Transcribe के लिए WER प्रकाशित करता है, CER नहीं। CER पाने के लिए अपनी रिकॉर्डिंग का एक टेस्ट सेट ट्रांसक्राइब करें और ख़ुद स्कोर करें। अरबी WER की व्याख्या वाली पोस्ट में एक नॉर्मलाइज़ेशन फ़ंक्शन और एक jiwer स्क्रिप्ट है जो WER और CER दोनों प्रिंट करती है, और अरबी स्पीच-टू-टेक्स्ट गाइड में अनुरोध का कोड है। हमेशा language=ar भेजें: इसके बिना अरबी लैटिन अक्षरों में transliterate होकर आ सकती है, जो दोनों स्कोर बिगाड़ देती है।
आम ग़लतियाँ
- स्पेस को असंगत ढंग से गिनना। तय करें कि स्पेस कैरेक्टर गिने जाएँगे या नहीं, और तुलना किए जाने वाले हर मॉडल पर वही नियम लगाएँ।
- CER की तुलना किसी और के WER से करना। ये अलग पैमाने हैं। एक जैसी चीज़ों की तुलना करें।