WER отвечает на один вопрос: сколько из каждых 100 сказанных слов расшифровка передала неверно?
Как это работает
Выровняйте расшифровку модели с правильным эталоном, сделанным человеком, и посчитайте ошибки трёх видов:
- S (substitutions), замены: неверное слово вместо правильного;
- D (deletions), пропуски: слово было сказано, но отсутствует;
- I (insertions), вставки: слово не было сказано, но появилось.
WER = (S + D + I) / N, где N — число слов в эталоне.
Пример. Эталон: “please send the invoice to our office today” (8 слов). Расшифровка: “please send an invoice to office today now”:
| Ошибка | Количество |
|---|---|
| “the” → “an” | 1 замена |
| “our” пропущено | 1 пропуск |
| “now” добавлено | 1 вставка |
WER = 3 / 8 = 0,375, или 37,5%. Википедия отмечает, что WER — это редакционное расстояние на уровне слов, и поскольку число вставок не ограничено, он “can be larger than 1.0” (перевод: «может быть больше 1,0»).
Считать WER помогают инструменты вроде Python-пакета jiwer. Сначала нормализуйте оба текста: регистр, пунктуацию, числа цифрами или словами, а для арабского — огласовки и формы алифа и йа. Одни только решения о нормализации могут заметно изменить результат.
Почему это важно
- Сравнение моделей. WER — общая метрика в лидербордах и заявлениях вендоров, поэтому это первый фильтр при выборе API распознавания речи.
- Ваше аудио другое. Одна и та же модель может показать совсем разные результаты на читаемой речи и на телефонных звонках на диалекте. Для арабского современный стандартный арабский и диалектное аудио дают разные цифры. Тестируйте на записях, похожих на ваши.
- Ошибки не равноценны. WER взвешивает все слова одинаково. Неверный номер счёта считается одной ошибкой, как и пропущенный артикль “the”. Читайте расшифровки, а не только метрики.
В BroadNet Inference
BroadNet публикует собственные лабораторные замеры для BroadNet Transcribe Arabic:
| Тестовый набор | Что это | WER (%) |
|---|---|---|
| FLEURS-ar | Чисто прочитанные предложения | 3.8 |
| MASC-ar | Смешанная арабская речь из реальной жизни | 21.1 |
| Диалектный набор BroadNet | Диалектная речь | 23.4 |
Разрыв между 3,8 и 23,4 показывает, почему важен собственный тест. По данным BroadNet, модель также занимает № 2 из 37 (данные за сентябрь 2026 г.; в живом рейтинге на 15 ноября 2026 г. — № 4 из 39) в Open Universal Arabic ASR Leaderboard. Стартового гранта $5 хватает примерно на 1,190 минут арабского аудио — достаточно для тестового набора. В руководстве для покупателя есть план тестирования на один час, а в руководстве по арабскому — код.