Die WER beantwortet eine Frage: Wie viele von je 100 gesprochenen Wörtern hat das Transkript falsch erfasst?
So funktioniert es
Richten Sie das Transkript des Modells an einer korrekten menschlichen Referenz aus und zählen Sie dann drei Fehlerarten:
- Substitutionen (Ersetzungen): ein falsches Wort anstelle des richtigen;
- Deletionen (Löschungen): ein Wort, das gesagt wurde, aber fehlt;
- Insertionen (Einfügungen): ein Wort, das nicht gesagt wurde, aber auftaucht.
WER = (S + D + I) / N, wobei N die Zahl der Wörter in der Referenz ist.
Beispiel. Die Referenz lautet „please send the invoice to our office today“ (8 Wörter). Das Transkript lautet „please send an invoice to office today now“:
| Fehler | Anzahl |
|---|---|
| „the“ → „an“ | 1 Ersetzung |
| „our“ fehlt | 1 Löschung |
| „now“ hinzugefügt | 1 Einfügung |
WER = 3 / 8 = 0,375, also 37,5 %. Wikipedia merkt an, dass die WER eine Editierdistanz auf Wortebene ist und, weil Einfügungen nicht begrenzt sind, „can be larger than 1.0“ (Übersetzung: „größer als 1,0 sein kann“).
Tools wie das Python-Paket jiwer berechnen sie. Normalisieren Sie vorher beide Texte: Groß- und Kleinschreibung, Satzzeichen, Zahlen als Ziffern oder Wörter und bei Arabisch Diakritika sowie Alef- und Ya-Formen. Allein die Wahl der Normalisierung kann den Wert spürbar verändern.
Warum es wichtig ist
- Modelle vergleichen. Die WER ist die übliche Kennzahl auf Leaderboards und in Herstellerangaben und damit der erste Filter bei der Wahl einer Speech-to-Text-API.
- Ihr Audio ist anders. Dasselbe Modell kann bei vorgelesener Sprache und bei Telefonaten im Dialekt sehr unterschiedlich abschneiden. Bei Arabisch liefern Aufnahmen in modernem Hocharabisch und im Dialekt verschiedene Werte. Testen Sie mit Aufnahmen wie Ihren.
- Nicht alle Fehler wiegen gleich. Die WER gewichtet jedes Wort gleich. Eine falsche Kontonummer zählt als ein Fehler, genau wie ein fehlendes „the“. Lesen Sie die Transkripte, nicht nur die Werte.
Bei BroadNet Inference
BroadNet veröffentlicht eigene Labormessungen für BroadNet Transcribe Arabic:
| Testset | Was es ist | WER (%) |
|---|---|---|
| FLEURS-ar | Saubere vorgelesene Sätze | 3,8 |
| MASC-ar | Gemischte arabische Sprache aus dem Alltag | 21,1 |
| Dialekt-Set von BroadNet | Dialektsprache | 23,4 |
Der Abstand zwischen 3,8 und 23,4 zeigt, warum Ihr eigener Test zählt. BroadNet meldet für das Modell außerdem einen Rang von #2 von 37 (Angabe für September 2026; die Live-Rangliste führte das Modell am 15. November 2026 auf #4 von 39) im Open Universal Arabic ASR Leaderboard. Das Startguthaben von $5 reicht für etwa 1,190 Minuten arabisches Audio, genug für ein Testset. Der Ratgeber für Käufer enthält einen Testplan für eine Stunde, und die Anleitung für Arabisch liefert den Code.