BroadRouter

Доля ошибок в словах (word error rate, WER)

Обновлено

Доля ошибок в словах (word error rate, WER) — это стандартная метрика точности распознавания речи: число замен, пропусков и вставок слов, нужных, чтобы превратить расшифровку в правильный эталон, делённое на число слов в эталоне. Чем меньше, тем лучше.

Также называют: WER, доля ошибок в словах, пословная ошибка, процент ошибок в словах, точность распознавания речи, точность транскрибации, word error rate, ASR accuracy, transcription accuracy, word accuracy

WER отвечает на один вопрос: сколько из каждых 100 сказанных слов расшифровка передала неверно?

Как это работает

Выровняйте расшифровку модели с правильным эталоном, сделанным человеком, и посчитайте ошибки трёх видов:

  • S (substitutions), замены: неверное слово вместо правильного;
  • D (deletions), пропуски: слово было сказано, но отсутствует;
  • I (insertions), вставки: слово не было сказано, но появилось.

WER = (S + D + I) / N, где N — число слов в эталоне.

Пример. Эталон: “please send the invoice to our office today” (8 слов). Расшифровка: “please send an invoice to office today now”:

Ошибка Количество
“the” → “an” 1 замена
“our” пропущено 1 пропуск
“now” добавлено 1 вставка

WER = 3 / 8 = 0,375, или 37,5%. Википедия отмечает, что WER — это редакционное расстояние на уровне слов, и поскольку число вставок не ограничено, он “can be larger than 1.0” (перевод: «может быть больше 1,0»).

Считать WER помогают инструменты вроде Python-пакета jiwer. Сначала нормализуйте оба текста: регистр, пунктуацию, числа цифрами или словами, а для арабского — огласовки и формы алифа и йа. Одни только решения о нормализации могут заметно изменить результат.

Почему это важно

  • Сравнение моделей. WER — общая метрика в лидербордах и заявлениях вендоров, поэтому это первый фильтр при выборе API распознавания речи.
  • Ваше аудио другое. Одна и та же модель может показать совсем разные результаты на читаемой речи и на телефонных звонках на диалекте. Для арабского современный стандартный арабский и диалектное аудио дают разные цифры. Тестируйте на записях, похожих на ваши.
  • Ошибки не равноценны. WER взвешивает все слова одинаково. Неверный номер счёта считается одной ошибкой, как и пропущенный артикль “the”. Читайте расшифровки, а не только метрики.

В BroadNet Inference

BroadNet публикует собственные лабораторные замеры для BroadNet Transcribe Arabic:

Тестовый набор Что это WER (%)
FLEURS-ar Чисто прочитанные предложения 3.8
MASC-ar Смешанная арабская речь из реальной жизни 21.1
Диалектный набор BroadNet Диалектная речь 23.4

Разрыв между 3,8 и 23,4 показывает, почему важен собственный тест. По данным BroadNet, модель также занимает № 2 из 37 (данные за сентябрь 2026 г.; в живом рейтинге на 15 ноября 2026 г. — № 4 из 39) в Open Universal Arabic ASR Leaderboard. Стартового гранта $5 хватает примерно на 1,190 минут арабского аудио — достаточно для тестового набора. В руководстве для покупателя есть план тестирования на один час, а в руководстве по арабскому — код.

Вопросы и ответы

Какой WER считается хорошим?

Зависит от аудио. На чистой читаемой речи результат может быть однозначным, а на шумной разговорной речи или диалекте та же модель часто показывает гораздо больше. Сравнивайте модели на одном тестовом наборе, в идеале на своих записях.

Может ли WER быть больше 100%?

Да. Вставки учитываются, а в знаменателе только слова эталона, поэтому расшифровка с большим числом лишних слов может получить больше 1,0.

WER записывают в процентах или десятичной дробью?

Встречается и то и другое. 0,211 и 21,1 обычно означают одно и то же: около 21 ошибки на 100 слов эталона. Проверяйте, какую запись использует источник.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity