BroadRouter
Loslegen

Zeichenfehlerrate (Character Error Rate, CER)

Aktualisiert

Die Zeichenfehlerrate (CER) misst die Genauigkeit von Transkription oder OCR auf Zeichenebene: die Ersetzungen, Löschungen und Einfügungen, die nötig sind, um die Ausgabe in den Referenztext zu verwandeln, geteilt durch die Zahl der Zeichen in der Referenz. Niedriger ist besser, 0 bedeutet volle Übereinstimmung.

Auch genannt: CER, Zeichenfehlerrate, Zeichenfehlerquote, character error rate

Die WER fragt, wie viele Wörter falsch waren. Die CER fragt, wie viele Buchstaben falsch waren, und das ist für Arabisch oft die fairere Frage.

So funktioniert es

Die CER nutzt dieselbe Idee der Editierdistanz wie die Wortfehlerrate, angewendet auf Zeichen. Die Metric Card von Hugging Face gibt die Formel an:

CER = (S + D + I) / N, wobei S die Ersetzungen, D die Löschungen, I die Einfügungen und N die Zahl der Zeichen in der Referenz ist (N = S + D + C, mit C den korrekten Zeichen).

Ein arabisches Rechenbeispiel. Die Referenz ist „وبالكتاب“ („und mit dem Buch“, ein Wort, 8 Buchstaben). Im Transkript steht „وبلكتاب“, es fehlt ein Alef:

Metrik Fehler Referenzeinheiten Wert
WER 1 falsches Wort 1 Wort 1,0 (100 %)
CER 1 gelöschter Buchstabe 8 Zeichen 0,125 (12,5 %)

Ein fehlender Buchstabe macht für die WER das ganze Wort falsch. Die CER zeigt, dass das Transkript fast richtig war.

In Python berechnet das Paket jiwer sie mit jiwer.cer(reference, hypothesis), und jiwer.process_characters liefert zusätzlich das Alignment. Normalisieren Sie vorher beide Seiten, wie bei der WER: Satzzeichen, Leerzeichen und im Arabischen Diakritika sowie Alef- und Yaa-Formen. Siehe arabische Textnormalisierung.

Warum es wichtig ist

  • Arabische Morphologie. Das Arabische hängt Konjunktionen, Präpositionen und Pronomen als Klitika an Wörter an, sodass ein Wort tragen kann, was im Englischen drei oder vier Wörter sind. Ein einziger falscher Präfix-Buchstabe kostet bei der WER ein ganzes Wort. Die CER gewichtet ihn als ein Zeichen.
  • Sprachen ohne Leerzeichen. Die WER braucht Wortgrenzen. Die Hugging-Face-Card sagt, die CER sei nützlich „especially for multilingual datasets where WER is not suitable given the diversity of languages“ (Übersetzung: „besonders für mehrsprachige Datensätze, bei denen die WER angesichts der Vielfalt der Sprachen nicht geeignet ist“).
  • Fehlerart. Ein Modell mit hoher WER, aber niedriger CER trifft die Wörter fast: Ausrutscher bei Schreibung, Hamza oder Klitika, die Normalisierung oder ein Korrekturschritt beheben kann. Eine hohe CER bedeutet, dass das Modell ganze Wörter oder Inhalte verfehlt.
  • Auch OCR. Dieselbe Metrik bewertet Text, der aus Bildern gelesen wurde; sie hilft also beim Vergleich von OCR-Pipelines.

Die Metric Card warnt außerdem, dass die CER nicht verrät, warum Fehler entstehen. Lesen Sie neben dem Wert auch Beispieltranskripte.

Bei BroadNet Inference

BroadNet veröffentlicht für BroadNet Transcribe Arabic und BroadNet Transcribe die WER, nicht die CER. Für die CER transkribieren Sie ein Testset aus eigenen Aufnahmen und bewerten es selbst. Der Beitrag arabische WER erklärt enthält eine Normalisierungsfunktion und ein jiwer-Skript, das WER und CER ausgibt, und der Leitfaden zu arabischem Speech-to-Text den Code für die Anfrage. Senden Sie immer language=ar: Ohne den Parameter kann Arabisch in lateinische Buchstaben transliteriert zurückkommen, was beide Werte ruiniert.

Häufige Fehler

  • Leerzeichen uneinheitlich zählen. Legen Sie fest, ob Leerzeichen als Zeichen zählen, und wenden Sie dieselbe Regel auf jedes verglichene Modell an.
  • Die eigene CER mit der WER eines anderen vergleichen. Das sind unterschiedliche Skalen. Vergleichen Sie Gleiches mit Gleichem.

Häufige Fragen

Kann die CER über 100 % liegen?

Ja. Die Metric Card von Hugging Face weist darauf hin, dass die CER nicht immer zwischen 0 und 1 liegt, besonders wenn ein Transkript viele Einfügungen enthält, weil der Nenner nur die Zeichen der Referenz zählt.

Sollte ich für Arabisch CER oder WER angeben?

Beides. Ranglisten und Anbieter nennen WER, also brauchen Sie sie für Vergleiche. Die CER zeigt, ob die Fehler ganze falsche Wörter sind oder hier und da ein Buchstabe oder Klitikon, was die WER verdeckt.

Veröffentlicht BroadNet die CER seiner Transkriptionsmodelle?

Nein. BroadNet veröffentlicht nur die WER. Für die CER bewerten Sie Ihr eigenes Testset mit einem Tool wie jiwer.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen