Доля ошибок в словах (WER) — это число заменённых, удалённых и вставленных слов, делённое на число слов в правильной расшифровке. Чем ниже, тем лучше. Арабский WER легко завысить: одну и ту же правильную расшифровку можно записать по-разному, а наивное сравнение считает ошибкой каждый вариант написания, каждую огласовку и каждое диалектное написание.
В этой статье — что измеряет WER, почему с арабским он становится скользким и как его считать, чтобы числа что-то значили. Как собрать сам тестовый набор, рассказано в статье о распознавании арабских диалектов; как выбрать провайдера — в руководстве по выбору API распознавания арабской речи.
Что такое доля ошибок в словах?
WER сравнивает машинную расшифровку (гипотезу) с правильной расшифровкой, сделанной человеком (эталоном). Он находит минимальное число правок на уровне слов, превращающих одну в другую:
- S, замены: слово заменено другим словом.
- D, удаления: слово из эталона отсутствует в гипотезе.
- I, вставки: в гипотезе лишнее слово.
Тогда:
WER = (S + D + I) / N, где N — число слов в эталоне.
WER 0,10 (часто пишут просто 10) означает примерно одну ошибку на десять слов эталона. Чем ниже, тем лучше. Поскольку вставки тоже считаются, у расшифровки, полной выдуманных слов, WER может превысить 100 %.
Доля ошибок в символах (CER) — та же формула по символам. Она полезна для арабского, где одна неверная буква в приставке делает ошибочным всё слово.
Почему арабский WER трудно сравнивать?
1. Огласовки
Краткие гласные в арабском пишутся необязательными значками (ташкиль) над и под буквами: фатха, дамма, касра, сукун, шадда и танвин. В повседневном тексте их опускают. Если в эталоне “مَدْرَسَةٌ”, а модель пишет “مدرسة”, строгое сравнение засчитает замену, хотя любой читающий по-арабски видит одно и то же слово.
2. Варианты написания
У нескольких букв есть распространённые допустимые варианты:
| Расхождение | Пример | Типичная нормализация |
|---|---|---|
| Хамза на алифе | أحمد / احمد, إلى / الى | Заменить أ إ آ на ا |
| Та марбута или ха | مدرسة / مدرسه | Заменить ة на ه |
| Алиф максура или йа | على / علي (в небрежном письме) | Заменить ى на ي |
| Танвин с алифом | صباحاً / صباحا | Убрать огласовку |
| Татвиль (растяжка) | جـمـيـل / جميل | Удалить ـ |
3. Клитики и границы слов
Арабский присоединяет к словам союзы, предлоги и местоимения: “وبمدرستهم” — это «и в их школе» одним написанным словом. Если модель напишет “و بمدرستهم” с пробелом, число слов изменится, и WER накажет это дважды. Некоторые оценки сначала разбивают слова на морфемы, большинство — нет. Знайте, какую из них вы читаете.
4. Диалекты
В отличие от современного литературного арабского, у диалектной речи нет стандартного написания. Египтянина, говорящего «я хочу», могут записать как “عايز” или “عاوز”; «что» у говорящего из Залива может быть “وش” или “ويش”. Некоторые расшифровщики ещё и «исправляют» диалект на MSA. Каждый такой случай — ошибка WER, даже если смысл передан идеально. Во многом именно поэтому диалектный WER намного выше, чем WER на читаемой речи.
5. Числа и переключение кодов
Говорящие часто переходят на английский посреди фразы (переключение кодов). Как писать — “٢٥”, “25” или “خمسة وعشرين”? Английское название бренда писать латиницей или арабскими буквами? Выберите соглашение, примените его к эталону и нормализуйте гипотезу под него.
Насколько нормализация меняет оценку?
Эталон: ذهبت إلى المدرسة صباحاً («Я пошёл в школу утром»)
Гипотеза: ذهبت الى المدرسه صباحا
Без нормализации три слова из четырёх различаются (إلى/الى, المدرسة/المدرسه, صباحاً/صباحا): WER 75 %. После нормализации обоих текстов они идентичны: WER 0 %. Та же расшифровка, то же качество, а число сдвинулось от ужасного к идеальному. Поэтому значение WER без правил нормализации мало о чём говорит.
Как посчитать арабский WER на Python?
import re
import jiwer # pip install jiwer
DIACRITICS = re.compile(r"[ً-ْٰ]") # tanween, harakat, shadda, sukun, dagger alef
PUNCT = re.compile(r"[^\w\s]")
def normalise_ar(text: str) -> str:
text = DIACRITICS.sub("", text)
text = text.replace("ـ", "") # tatweel
text = re.sub("[أإآٱ]", "ا", text)
text = text.replace("ى", "ي").replace("ة", "ه")
text = text.translate(str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789"))
text = PUNCT.sub(" ", text)
return " ".join(text.split())
refs = ["ذهبت إلى المدرسة صباحاً"]
hyps = ["ذهبت الى المدرسه صباحا"]
print("raw WER:", jiwer.wer(refs, hyps))
print("normalised WER:", jiwer.wer([normalise_ar(r) for r in refs], [normalise_ar(h) for h in hyps]))
print("normalised CER:", jiwer.cer([normalise_ar(r) for r in refs], [normalise_ar(h) for h in hyps]))
Применяйте одну и ту же функцию к эталонам и гипотезам для каждой сравниваемой модели. Публикуйте её рядом со своими числами.
Какой WER для арабского сообщает BroadNet?
BroadNet публикует лабораторные измерения для BroadNet Transcribe Arabic в своём каталоге моделей:
| Тестовый набор | Что это | WER по данным BroadNet |
|---|---|---|
| FLEURS-ar | Чистые читаемые предложения | 3,8 |
| MASC-ar | Смешанная арабская речь из реальной жизни | 21,1 |
| Диалектный набор BroadNet | Диалектная речь | 23,4 |
Также BroadNet сообщает, что модель занимает позицию № 2 из 37 (данные за сентябрь 2026 г.; в живом рейтинге на 15 ноября 2026 г. — № 4 из 39) в Open Universal Arabic ASR Leaderboard и #1 среди моделей, лицензии которых разрешают работу через API. Это данные BroadNet, а не независимый аудит. Рейтинг применяет одну и ту же схему оценки ко всем моделям, поэтому его позиции сопоставимее, чем числа с отдельных страниц поставщиков.
Смотрите на разброс, а не только на лучшее число. Скачок от 3,8 до 23,4 — это разрыв между читаемой речью и спонтанным диалектом для одной модели, поэтому проверяйте каждого кандидата на обоих видах аудио. Ваше собственное аудио — линии колл-центра, голосовые сообщения WhatsApp или встречи — окажется где-то в этом диапазоне, и только тест покажет, где именно.
Как измерить WER на своём аудио?
- Делайте выборку по условиям. Сгруппируйте клипы по диалекту и каналу (телефон, голосовое сообщение, студия). Размеры выборки и соглашения о написании описаны в методике тестового набора по диалектам.
- Расшифруйте каждым кандидатом. Для BroadNet передавайте
language=ar; без этого арабская речь может вернуться транслитерированной латиницей. Код — в руководстве по распознаванию арабской речи, а стартовый кредит $5 покрывает около 1,190 минут аудио. - Нормализуйте и считайте. Используйте функцию выше, указывайте WER и CER по каждой группе.
- Читайте ошибки. Отсортируйте замены по частоте. Если в топе ошибок имена, суммы или коды товаров, влияние на бизнес больше, чем говорит оценка.
Что измерять, кроме WER?
WER считает все слова одинаковыми, а для вашего продукта они не одинаковы. Боту поддержки важно намерение, процессу выставления счетов — числа, команде комплаенса — конкретные фразы. Добавьте рядом с WER метрику задачи: точность определения намерения после того, как LLM прочитает расшифровку, или точное совпадение извлечённых сумм. Модель с немного более высоким WER всё равно может выиграть, если её ошибки приходятся на неважные слова.
Чтобы оценить затраты, введите свои часы аудио в месяц в бесплатный калькулятор стоимости распознавания речи, а чем отличаются арабская модель и модель на 14 языков, смотрите в сравнении BroadNet Transcribe и Transcribe Arabic.
