Die Wortfehlerrate (WER, Word Error Rate) ist die Zahl der ersetzten, ausgelassenen und eingefügten Wörter geteilt durch die Zahl der Wörter im korrekten Transkript. Niedriger ist besser. Arabische WER lässt sich leicht aufblähen: Dasselbe korrekte Transkript kann auf mehrere Arten geschrieben werden, und ein naiver Vergleich zählt jede Schreibentscheidung, jedes Diakritikum und jede Dialektschreibung als Fehler.
Dieser Beitrag erklärt, was die WER misst, warum sie bei Arabisch so rutschig ist und wie Sie sie berechnen, damit Ihre Zahlen etwas bedeuten. Wie Sie das Testset selbst aufbauen, steht unter Spracherkennung für arabische Dialekte; für die Wahl eines Anbieters siehe den Kaufratgeber für Speech-to-Text-APIs auf Arabisch.
Was ist die Wortfehlerrate?
Die Wortfehlerrate vergleicht ein maschinelles Transkript (die Hypothese) mit einem korrekten menschlichen Transkript (der Referenz). Sie ermittelt die minimale Zahl an Wortänderungen, die das eine in das andere überführen:
- S, Ersetzungen (Substitutions): ein Wort, das durch ein anderes ersetzt wurde.
- D, Auslassungen (Deletions): ein Referenzwort, das in der Hypothese fehlt.
- I, Einfügungen (Insertions): ein zusätzliches Wort in der Hypothese.
Dann gilt:
WER = (S + D + I) / N, wobei N die Zahl der Wörter in der Referenz ist.
Eine WER von 0,10 (oft als 10 geschrieben) bedeutet etwa einen Fehler pro zehn Referenzwörter. Niedriger ist besser. Weil Einfügungen zählen, kann die WER bei einem Transkript voller erfundener Wörter über 100 % steigen.
Die Zeichenfehlerrate (CER, Character Error Rate) ist dieselbe Formel über Zeichen. Sie ist für Arabisch nützlich, wo ein einziger falscher Buchstabe in einem Präfix das ganze Wort als falsch zählen lässt.
Warum ist arabische WER schwer vergleichbar?
1. Diakritika
Arabische Kurzvokale werden als optionale Zeichen (Taschkil) über und unter den Buchstaben geschrieben: Fatha, Damma, Kasra, Sukun, Schadda und Tanwin. Alltagstext lässt sie weg. Steht in Ihrer Referenz „مَدْرَسَةٌ“ und schreibt das Modell „مدرسة“, zählt ein strikter Vergleich eine Ersetzung, obwohl jeder arabische Leser dasselbe Wort sieht.
2. Schreibvarianten
Mehrere Buchstaben haben verbreitete, anerkannte Varianten:
| Variante | Beispiel | Übliche Normalisierung |
|---|---|---|
| Hamza auf Alef | أحمد / احمد, إلى / الى | أ إ آ auf ا abbilden |
| Ta marbuta vs. Ha | مدرسة / مدرسه | ة auf ه abbilden |
| Alef maqsura vs. Ya | على / علي (in lockerer Schreibung) | ى auf ي abbilden |
| Tanwin mit Alef | صباحاً / صباحا | Diakritikum entfernen |
| Tatweel (Dehnung) | جـمـيـل / جميل | ـ entfernen |
3. Klitika und Wortgrenzen
Arabisch hängt Konjunktionen, Präpositionen und Pronomen an Wörter an: „وبمدرستهم“ bedeutet „und in ihrer Schule“, in einem einzigen geschriebenen Wort. Schreibt das Modell „و بمدرستهم“ mit Leerzeichen, ändert sich die Wortzahl, und die WER bestraft das doppelt. Manche Evaluationen zerlegen Wörter zuerst in Morpheme; die meisten nicht. Wissen Sie, welche Sie gerade lesen.
4. Dialekte
Anders als für modernes Hocharabisch gibt es für gesprochenen Dialekt keine Standardschreibung. Sagt ein ägyptischer Sprecher „ich will“, kann das als „عايز“ oder „عاوز“ transkribiert werden; das „was“ eines Sprechers vom Golf als „وش“ oder „ويش“. Manche Transkriptoren „korrigieren“ Dialekt außerdem zu MSA. Jedes davon ist ein WER-Fehler, auch wenn die Bedeutung perfekt ist. Das erklärt einen großen Teil, warum die WER bei Dialekt so viel höher liegt als bei vorgelesener Sprache.
5. Zahlen und Code-Switching
Sprecher wechseln oft mitten im Satz ins Englische (Code-Switching). Heißt es „٢٥“, „25“ oder „خمسة وعشرين“? Wird ein englischer Markenname in lateinischer Schrift oder in arabischen Buchstaben geschrieben? Legen Sie eine Konvention fest, wenden Sie sie auf die Referenz an und normalisieren Sie die Hypothese darauf.
Wie stark verändert die Normalisierung den Wert?
Referenz: ذهبت إلى المدرسة صباحاً („Ich ging morgens zur Schule“)
Hypothese: ذهبت الى المدرسه صباحا
Ohne Normalisierung unterscheiden sich drei von vier Wörtern (إلى/الى, المدرسة/المدرسه, صباحاً/صباحا): WER 75 %. Nach der Normalisierung beider Texte sind sie identisch: WER 0 %. Gleiches Transkript, gleiche Qualität, und der Wert springt von katastrophal zu perfekt. Deshalb sagt eine WER-Zahl ohne ihre Normalisierungsregeln wenig aus.
Wie berechnet man arabische WER in Python?
import re
import jiwer # pip install jiwer
DIACRITICS = re.compile(r"[ً-ْٰ]") # tanween, harakat, shadda, sukun, dagger alef
PUNCT = re.compile(r"[^\w\s]")
def normalise_ar(text: str) -> str:
text = DIACRITICS.sub("", text)
text = text.replace("ـ", "") # tatweel
text = re.sub("[أإآٱ]", "ا", text)
text = text.replace("ى", "ي").replace("ة", "ه")
text = text.translate(str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789"))
text = PUNCT.sub(" ", text)
return " ".join(text.split())
refs = ["ذهبت إلى المدرسة صباحاً"]
hyps = ["ذهبت الى المدرسه صباحا"]
print("raw WER:", jiwer.wer(refs, hyps))
print("normalised WER:", jiwer.wer([normalise_ar(r) for r in refs], [normalise_ar(h) for h in hyps]))
print("normalised CER:", jiwer.cer([normalise_ar(r) for r in refs], [normalise_ar(h) for h in hyps]))
Wenden Sie genau dieselbe Funktion auf Referenzen und Hypothesen an, für jedes verglichene Modell. Veröffentlichen Sie sie neben Ihren Zahlen.
Welche WER meldet BroadNet für Arabisch?
BroadNet veröffentlicht Labormessungen für BroadNet Transcribe Arabic in seinem Modellkatalog:
| Testset | Was es ist | WER laut BroadNet |
|---|---|---|
| FLEURS-ar | Sauber vorgelesene Sätze | 3,8 |
| MASC-ar | Gemischte arabische Sprache aus der Praxis | 21,1 |
| Dialekt-Set von BroadNet | Dialektsprache | 23,4 |
BroadNet meldet das Modell außerdem auf #2 von 37 (Angabe für September 2026; die Live-Rangliste führte das Modell am 15. November 2026 auf #4 von 39) im Open Universal Arabic ASR Leaderboard und auf Platz 1 unter den Modellen, deren Lizenzen den Betrieb über eine API erlauben. Das sind Zahlen von BroadNet, keine unabhängigen Prüfungen. Das Leaderboard wendet auf jedes Modell dasselbe Evaluations-Setup an, was seine Platzierungen vergleichbarer macht als Zahlen von getrennten Anbieterseiten.
Lesen Sie die Spannweite, nicht nur den besten Wert. Der Sprung von 3,8 auf 23,4 ist bei ein und demselben Modell der Abstand zwischen vorgelesener Sprache und spontanem Dialekt; testen Sie also jeden Kandidaten mit beiden Arten von Audio. Ihr eigenes Audio, ob Callcenter-Leitungen, WhatsApp-Sprachnachrichten oder Besprechungen, landet irgendwo in diesem Bereich, und nur ein Test zeigt, wo.
Wie misst man die WER mit eigenem Audio?
- Nach Bedingungen stichproben. Gruppieren Sie Clips nach Dialekt und Kanal (Telefon, Sprachnachricht, Studio). Die Methode für Dialekt-Testsets behandelt Stichprobengrößen und Schreibkonventionen.
- Mit jedem Kandidaten transkribieren. Senden Sie bei BroadNet
language=ar; ohne diesen Parameter kann Arabisch in lateinische Buchstaben transliteriert zurückkommen. Der Leitfaden für Speech-to-Text auf Arabisch enthält den Code, und das Startguthaben von $5 deckt etwa 1,190 Minuten Audio ab. - Normalisieren und bewerten. Verwenden Sie die Funktion oben und geben Sie WER und CER pro Gruppe an.
- Die Fehler lesen. Sortieren Sie Ersetzungen nach Häufigkeit. Sind die häufigsten Fehler Namen, Beträge oder Produktcodes, sind die geschäftlichen Folgen größer, als der Wert vermuten lässt.
Was sollten Sie neben der WER messen?
Die WER behandelt jedes Wort gleich, Ihr Produkt nicht. Ein Support-Bot braucht den Intent; ein Rechnungsworkflow braucht Zahlen; ein Compliance-Team braucht bestimmte Formulierungen. Ergänzen Sie neben der WER eine Aufgabenmetrik: Intent-Genauigkeit, nachdem ein LLM das Transkript gelesen hat, oder exakte Übereinstimmung bei extrahierten Beträgen. Ein Modell mit etwas höherer WER kann trotzdem gewinnen, wenn seine Fehler auf Wörter fallen, die keine Rolle spielen.
Für die Kostenseite tragen Sie Ihre monatlichen Audiostunden in den kostenlosen Speech-to-Text-Kostenrechner ein und sehen unter BroadNet Transcribe vs. Transcribe Arabic, wie sich das arabische Modell und das Modell für 14 Sprachen unterscheiden.
