Die WER fragt, wie viele Wörter falsch waren. Die CER fragt, wie viele Buchstaben falsch waren, und das ist für Arabisch oft die fairere Frage.
So funktioniert es
Die CER nutzt dieselbe Idee der Editierdistanz wie die Wortfehlerrate, angewendet auf Zeichen. Die Metric Card von Hugging Face gibt die Formel an:
CER = (S + D + I) / N, wobei S die Ersetzungen, D die Löschungen, I die Einfügungen und N die Zahl der Zeichen in der Referenz ist (N = S + D + C, mit C den korrekten Zeichen).
Ein arabisches Rechenbeispiel. Die Referenz ist „وبالكتاب“ („und mit dem Buch“, ein Wort, 8 Buchstaben). Im Transkript steht „وبلكتاب“, es fehlt ein Alef:
| Metrik | Fehler | Referenzeinheiten | Wert |
|---|---|---|---|
| WER | 1 falsches Wort | 1 Wort | 1,0 (100 %) |
| CER | 1 gelöschter Buchstabe | 8 Zeichen | 0,125 (12,5 %) |
Ein fehlender Buchstabe macht für die WER das ganze Wort falsch. Die CER zeigt, dass das Transkript fast richtig war.
In Python berechnet das Paket jiwer sie mit jiwer.cer(reference, hypothesis), und jiwer.process_characters liefert zusätzlich das Alignment. Normalisieren Sie vorher beide Seiten, wie bei der WER: Satzzeichen, Leerzeichen und im Arabischen Diakritika sowie Alef- und Yaa-Formen. Siehe arabische Textnormalisierung.
Warum es wichtig ist
- Arabische Morphologie. Das Arabische hängt Konjunktionen, Präpositionen und Pronomen als Klitika an Wörter an, sodass ein Wort tragen kann, was im Englischen drei oder vier Wörter sind. Ein einziger falscher Präfix-Buchstabe kostet bei der WER ein ganzes Wort. Die CER gewichtet ihn als ein Zeichen.
- Sprachen ohne Leerzeichen. Die WER braucht Wortgrenzen. Die Hugging-Face-Card sagt, die CER sei nützlich „especially for multilingual datasets where WER is not suitable given the diversity of languages“ (Übersetzung: „besonders für mehrsprachige Datensätze, bei denen die WER angesichts der Vielfalt der Sprachen nicht geeignet ist“).
- Fehlerart. Ein Modell mit hoher WER, aber niedriger CER trifft die Wörter fast: Ausrutscher bei Schreibung, Hamza oder Klitika, die Normalisierung oder ein Korrekturschritt beheben kann. Eine hohe CER bedeutet, dass das Modell ganze Wörter oder Inhalte verfehlt.
- Auch OCR. Dieselbe Metrik bewertet Text, der aus Bildern gelesen wurde; sie hilft also beim Vergleich von OCR-Pipelines.
Die Metric Card warnt außerdem, dass die CER nicht verrät, warum Fehler entstehen. Lesen Sie neben dem Wert auch Beispieltranskripte.
Bei BroadNet Inference
BroadNet veröffentlicht für BroadNet Transcribe Arabic und BroadNet Transcribe die WER, nicht die CER. Für die CER transkribieren Sie ein Testset aus eigenen Aufnahmen und bewerten es selbst. Der Beitrag arabische WER erklärt enthält eine Normalisierungsfunktion und ein jiwer-Skript, das WER und CER ausgibt, und der Leitfaden zu arabischem Speech-to-Text den Code für die Anfrage. Senden Sie immer language=ar: Ohne den Parameter kann Arabisch in lateinische Buchstaben transliteriert zurückkommen, was beide Werte ruiniert.
Häufige Fehler
- Leerzeichen uneinheitlich zählen. Legen Sie fest, ob Leerzeichen als Zeichen zählen, und wenden Sie dieselbe Regel auf jedes verglichene Modell an.
- Die eigene CER mit der WER eines anderen vergleichen. Das sind unterschiedliche Skalen. Vergleichen Sie Gleiches mit Gleichem.