---
title: "WER для арабского: доля ошибок в распознавании речи | BroadRouter"
description: "Что такое WER, как его считать и почему для арабского он так чувствителен к огласовкам, нормализации написания и диалектам. С кодом на Python и реальными числами."
url: https://broadrouter.com/ru/blog/arabic-asr-wer-explained/
lang: ru
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Переведено с английского с помощью ИИ. [Читать оригинал на английском](https://broadrouter.com/blog/arabic-asr-wer-explained/) (обновлён 2026-11-14).

# WER для арабского: что такое доля ошибок в словах в ASR

Команда BroadNet Inference · 5 мин чтения · Опубликовано 2026-11-14

WER (word error rate, доля ошибок в словах) — это число заменённых, удалённых и вставленных слов, делённое на число слов в эталонной расшифровке. Чем ниже, тем лучше. Арабский WER трудно сравнивать: огласовки, написание алифа и та марбута и диалекты его завышают. BroadNet сообщает для BroadNet Transcribe Arabic WER 3,8 на FLEURS-ar и 23,4 на диалектной речи.

## Главное

-   WER = (замены + удаления + вставки) / число слов в эталоне. Он может превышать 100 %.
-   Варианты арабского написания (أ/إ/ا, ة/ه, ى/ي, огласовки) могут считаться ошибками, если сначала не нормализовать оба текста.
-   Всегда указывайте, какую нормализацию вы применили. Два значения WER с разной нормализацией несопоставимы.
-   BroadNet сообщает для BroadNet Transcribe Arabic 3,8 на FLEURS-ar, 21,1 на MASC-ar и 23,4 на своём диалектном наборе.
-   Читайте ошибки, а не только оценку: одна неверная цифра в сумме важнее десяти неверных частиц.

**На этой странице**

1.  Что такое доля ошибок в словах?
2.  Почему арабский WER трудно сравнивать?
3.  Насколько нормализация меняет оценку?
4.  Как посчитать арабский WER на Python?
5.  Какой WER для арабского сообщает BroadNet?
6.  Как измерить WER на своём аудио?
7.  Что измерять, кроме WER?

[Доля ошибок в словах](https://broadrouter.com/ru/glossary/word-error-rate/) (WER) — это число заменённых, удалённых и вставленных слов, делённое на число слов в правильной расшифровке. Чем ниже, тем лучше. Арабский WER легко завысить: одну и ту же правильную расшифровку можно записать по-разному, а наивное сравнение считает ошибкой каждый вариант написания, каждую огласовку и каждое диалектное написание.

В этой статье — что измеряет WER, почему с арабским он становится скользким и как его считать, чтобы числа что-то значили. Как собрать сам тестовый набор, рассказано в статье о [распознавании арабских диалектов](https://broadrouter.com/ru/blog/arabic-dialect-speech-recognition/); как выбрать провайдера — в [руководстве по выбору API распознавания арабской речи](https://broadrouter.com/ru/blog/arabic-speech-to-text-api-buyers-guide/).

## Что такое доля ошибок в словах?

WER сравнивает машинную расшифровку (гипотезу) с правильной расшифровкой, сделанной человеком (эталоном). Он находит минимальное число правок на уровне слов, превращающих одну в другую:

-   **S, замены:** слово заменено другим словом.
-   **D, удаления:** слово из эталона отсутствует в гипотезе.
-   **I, вставки:** в гипотезе лишнее слово.

Тогда:

**WER = (S + D + I) / N**, где N — число слов в эталоне.

WER 0,10 (часто пишут просто 10) означает примерно одну ошибку на десять слов эталона. Чем ниже, тем лучше. Поскольку вставки тоже считаются, у расшифровки, полной выдуманных слов, WER может превысить 100 %.

Доля ошибок в символах (CER) — та же формула по символам. Она полезна для арабского, где одна неверная буква в приставке делает ошибочным всё слово.

## Почему арабский WER трудно сравнивать?

### 1\. Огласовки

Краткие гласные в арабском пишутся необязательными значками (ташкиль) над и под буквами: фатха, дамма, касра, сукун, шадда и танвин. В повседневном тексте их опускают. Если в эталоне “مَدْرَسَةٌ”, а модель пишет “مدرسة”, строгое сравнение засчитает замену, хотя любой читающий по-арабски видит одно и то же слово.

### 2\. Варианты написания

У нескольких букв есть распространённые допустимые варианты:

| Расхождение | Пример | Типичная нормализация |
| --- | --- | --- |
| Хамза на алифе | أحمد / احمد, إلى / الى | Заменить أ إ آ на ا |
| Та марбута или ха | مدرسة / مدرسه | Заменить ة на ه |
| Алиф максура или йа | على / علي (в небрежном письме) | Заменить ى на ي |
| Танвин с алифом | صباحاً / صباحا | Убрать огласовку |
| Татвиль (растяжка) | جـمـيـل / جميل | Удалить ـ |

### 3\. Клитики и границы слов

Арабский присоединяет к словам союзы, предлоги и местоимения: “وبمدرستهم” — это «и в их школе» одним написанным словом. Если модель напишет “و بمدرستهم” с пробелом, число слов изменится, и WER накажет это дважды. Некоторые оценки сначала разбивают слова на морфемы, большинство — нет. Знайте, какую из них вы читаете.

### 4\. Диалекты

В отличие от [современного литературного арабского](https://broadrouter.com/ru/glossary/msa/), у диалектной речи нет стандартного написания. Египтянина, говорящего «я хочу», могут записать как “عايز” или “عاوز”; «что» у говорящего из Залива может быть “وش” или “ويش”. Некоторые расшифровщики ещё и «исправляют» диалект на MSA. Каждый такой случай — ошибка WER, даже если смысл передан идеально. Во многом именно поэтому диалектный WER намного выше, чем WER на читаемой речи.

### 5\. Числа и переключение кодов

Говорящие часто переходят на английский посреди фразы ([переключение кодов](https://broadrouter.com/ru/glossary/code-switching/)). Как писать — “٢٥”, “25” или “خمسة وعشرين”? Английское название бренда писать латиницей или арабскими буквами? Выберите соглашение, примените его к эталону и нормализуйте гипотезу под него.

## Насколько нормализация меняет оценку?

Эталон: **ذهبت إلى المدرسة صباحاً** («Я пошёл в школу утром»)

Гипотеза: **ذهبت الى المدرسه صباحا**

Без нормализации три слова из четырёх различаются (إلى/الى, المدرسة/المدرسه, صباحاً/صباحا): **WER 75 %.** После нормализации обоих текстов они идентичны: **WER 0 %.** Та же расшифровка, то же качество, а число сдвинулось от ужасного к идеальному. Поэтому значение WER без правил нормализации мало о чём говорит.

## Как посчитать арабский WER на Python?

```python
import re
import jiwer  # pip install jiwer

DIACRITICS = re.compile(r"[ً-ْٰ]")   # tanween, harakat, shadda, sukun, dagger alef
PUNCT = re.compile(r"[^\w\s]")

def normalise_ar(text: str) -> str:
    text = DIACRITICS.sub("", text)
    text = text.replace("ـ", "")                # tatweel
    text = re.sub("[أإآٱ]", "ا", text)
    text = text.replace("ى", "ي").replace("ة", "ه")
    text = text.translate(str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789"))
    text = PUNCT.sub(" ", text)
    return " ".join(text.split())

refs = ["ذهبت إلى المدرسة صباحاً"]
hyps = ["ذهبت الى المدرسه صباحا"]

print("raw WER:", jiwer.wer(refs, hyps))
print("normalised WER:", jiwer.wer([normalise_ar(r) for r in refs], [normalise_ar(h) for h in hyps]))
print("normalised CER:", jiwer.cer([normalise_ar(r) for r in refs], [normalise_ar(h) for h in hyps]))
```

Применяйте одну и ту же функцию к эталонам и гипотезам для каждой сравниваемой модели. Публикуйте её рядом со своими числами.

## Какой WER для арабского сообщает BroadNet?

BroadNet публикует лабораторные измерения для [BroadNet Transcribe Arabic](https://broadrouter.com/ru/models/cohere-transcribe-arabic/) в своём [каталоге моделей](https://www.broadnet.ai/inference/models):

| Тестовый набор | Что это | WER по данным BroadNet |
| --- | --- | --- |
| FLEURS-ar | Чистые читаемые предложения | 3,8 |
| MASC-ar | Смешанная арабская речь из реальной жизни | 21,1 |
| Диалектный набор BroadNet | Диалектная речь | 23,4 |

Также BroadNet сообщает, что модель занимает позицию № 2 из 37 (данные за сентябрь 2026 г.; в живом рейтинге на 15 ноября 2026 г. — № 4 из 39) в [Open Universal Arabic ASR Leaderboard](https://huggingface.co/spaces/elmresearchcenter/open_universal_arabic_asr_leaderboard) и #1 среди моделей, лицензии которых разрешают работу через API. Это данные BroadNet, а не независимый аудит. Рейтинг применяет одну и ту же схему оценки ко всем моделям, поэтому его позиции сопоставимее, чем числа с отдельных страниц поставщиков.

Смотрите на разброс, а не только на лучшее число. Скачок от 3,8 до 23,4 — это разрыв между читаемой речью и спонтанным диалектом для одной модели, поэтому проверяйте каждого кандидата на обоих видах аудио. Ваше собственное аудио — линии колл-центра, голосовые сообщения WhatsApp или встречи — окажется где-то в этом диапазоне, и только тест покажет, где именно.

## Как измерить WER на своём аудио?

1.  **Делайте выборку по условиям.** Сгруппируйте клипы по диалекту и каналу (телефон, голосовое сообщение, студия). Размеры выборки и соглашения о написании описаны в [методике тестового набора по диалектам](https://broadrouter.com/ru/blog/arabic-dialect-speech-recognition/).
2.  **Расшифруйте каждым кандидатом.** Для BroadNet передавайте `language=ar`; без этого арабская речь может вернуться транслитерированной латиницей. Код — в [руководстве по распознаванию арабской речи](https://broadrouter.com/ru/guides/arabic-speech-to-text-api/), а стартовый кредит $5 покрывает около 1,190 минут аудио.
3.  **Нормализуйте и считайте.** Используйте функцию выше, указывайте WER и CER по каждой группе.
4.  **Читайте ошибки.** Отсортируйте замены по частоте. Если в топе ошибок имена, суммы или коды товаров, влияние на бизнес больше, чем говорит оценка.

## Что измерять, кроме WER?

WER считает все слова одинаковыми, а для вашего продукта они не одинаковы. Боту поддержки важно намерение, процессу выставления счетов — числа, команде комплаенса — конкретные фразы. Добавьте рядом с WER метрику задачи: точность определения намерения после того, как LLM прочитает расшифровку, или точное совпадение извлечённых сумм. Модель с немного более высоким WER всё равно может выиграть, если её ошибки приходятся на неважные слова.

Чтобы оценить затраты, введите свои часы аудио в месяц в бесплатный [калькулятор стоимости распознавания речи](https://broadrouter.com/tools/speech-to-text-cost-calculator/), а чем отличаются арабская модель и модель на 14 языков, смотрите в сравнении [BroadNet Transcribe и Transcribe Arabic](https://broadrouter.com/compare/cohere-transcribe-vs-cohere-transcribe-arabic/).

Бесплатные инструменты по теме (на английском)

-   [Arabic token counter](https://broadrouter.com/tools/arabic-token-counter/) Arabic vs English token counts per tokenizer: the "Arabic tax" in tokens and money.
-   [Arabic text normalizer](https://broadrouter.com/tools/arabic-text-normalizer/) Tashkeel, tatweel, alef, ya, ta marbuta, digits and invisible characters, with a matching Python function.
-   [Speech-to-text cost calculator](https://broadrouter.com/tools/speech-to-text-cost-calculator/) Hours, calls or voice notes to a monthly transcription bill, against your current provider.

[Бесплатные инструменты (на английском)](https://broadrouter.com/tools/)

## Термины в этой статье

[Доля ошибок в словах (word error rate, WER)](https://broadrouter.com/ru/glossary/word-error-rate/)

Доля ошибок в словах (word error rate, WER) — это стандартная метрика точности распознавания речи: число замен, пропусков и вставок слов, нужных, чтобы превратить расшифровку в правильный эталон, делённое на число слов в эталоне. Чем меньше, тем лучше.

[Переключение кодов (code-switching)](https://broadrouter.com/ru/glossary/code-switching/)

Переключение кодов — это использование двух или более языков либо вариантов одного языка в пределах одного разговора или предложения, устно или письменно. Например, арабоязычные люди вставляют английские слова в диалектную речь или переходят с современного литературного арабского на свой диалект и обратно.

[Доля ошибок в символах (character error rate, CER)](https://broadrouter.com/ru/glossary/character-error-rate/)

Доля ошибок в символах (CER) — это мера точности транскрибации или OCR на уровне символов: число замен, удалений и вставок, нужных, чтобы превратить результат в эталонный текст, делённое на число символов в эталоне. Чем меньше, тем лучше; 0 означает полное совпадение.

[Распознавание речи (speech-to-text)](https://broadrouter.com/ru/glossary/speech-to-text/)

Распознавание речи (speech-to-text, автоматическое распознавание речи, ASR) — это технология, которая превращает устную речь в письменный текст. API распознавания речи принимает аудиофайл или поток и возвращает расшифровку, обычно с оплатой за минуту аудио. Точность измеряют долей ошибок в словах (WER), и она зависит от акцента, диалекта и качества записи.

[Арабские огласовки (ташкиль, tashkeel)](https://broadrouter.com/ru/glossary/arabic-diacritics/)

Арабские огласовки, или ташкиль, — это небольшие знаки над буквами или под ними, которые обозначают краткие гласные, удвоенные согласные и отсутствие гласного. Они необязательны: в большинстве арабских текстов, включая новости, их нет, и читатель или программа восстанавливает гласные по контексту.

[Eval (оценка LLM)](https://broadrouter.com/ru/glossary/eval/)

Eval (сокращение от evaluation, «оценка») — это воспроизводимый тест языковой модели или промпта: фиксированный набор входов, описание того, как выглядит хороший ответ, и оценщик (код, человек или другая модель), который выставляет оценку каждому ответу, чтобы версии можно было сравнивать.

[Вызов инструментов (tool calling)](https://broadrouter.com/ru/glossary/tool-calling/)

Вызов инструментов (function calling) — это функция LLM API, при которой модель возвращает структурированный запрос на выполнение функции, заданной разработчиком, с аргументами в JSON. Приложение выполняет функцию и отправляет результат обратно; сама модель код никогда не выполняет.

[Нормализация арабского текста (Arabic text normalization)](https://broadrouter.com/ru/glossary/arabic-text-normalization/)

Нормализация арабского текста — это шаг, который перед сопоставлением приводит варианты написания одного слова к единой форме: удаляет огласовки и татвиль, унифицирует формы алифа и часто заменяет ى на ي и ة на ه. Её применяют к поисковым ключам и при оценке, а не к тексту, который показывают.

## Вопросы и ответы

### Какой WER считается хорошим для арабского?

На чистой читаемой речи достижимы однозначные значения: BroadNet сообщает 3,8 на FLEURS-ar. На реальном и диалектном аудио ждите гораздо больших чисел: BroadNet сообщает 21,1 на MASC-ar и 23,4 на своём диалектном наборе. Сравнивайте модели на своём аудио с одинаковой нормализацией.

### Нужно ли убирать огласовки перед подсчётом арабского WER?

Обычно да. Большая часть арабских текстов пишется без знаков кратких гласных, а модели расставляют их непоследовательно. Убирайте их и из эталона, и из гипотезы, если только вашему продукту не нужен огласованный текст.

### Что такое CER и когда его использовать?

Доля ошибок в символах (CER) — тот же расчёт, только по символам, а не по словам. Он мягче к арабскому, где одна неверная буква приставки делает ошибочным всё слово, и полезен вместе с WER.

### Может ли WER быть больше 100 %?

Да. Вставки считаются ошибками, поэтому модель, которая выдумывает много лишних слов, может сделать больше ошибок, чем слов в эталоне.

### Как посчитать WER для арабского на Python?

Установите jiwer, нормализуйте и эталон, и вывод модели одной и той же функцией (уберите огласовки и татвиль, унифицируйте алиф, йа и та марбута, переведите восточноарабские цифры), затем вызовите jiwer.wer(references, hypotheses). Указывайте нормализацию рядом с оценкой.

### Почему WER для арабского выше, чем для английского?

Отчасти из-за реальной сложности (диалекты, клитики, переключение кодов), отчасти из-за подсчёта: в арабском есть допустимые варианты написания и необязательные огласовки, и строгое сравнение считает каждое расхождение ошибкой. Нормализация обоих текстов убирает часть, связанную с подсчётом.

## Читайте также

-   [API распознавания арабской речи: как выбрать в 2026 году](https://broadrouter.com/ru/blog/arabic-speech-to-text-api-buyers-guide/)
-   [Транскрибация записей колл-центра: конвейер с поддержкой арабского](https://broadrouter.com/ru/blog/transcribe-call-center-recordings/)
-   [RAG на арабском: нормализация, чанкинг и поиск, который работает](https://broadrouter.com/ru/blog/arabic-rag-search/)
-   [Многоязычный API распознавания речи: 14 языков, один эндпоинт](https://broadrouter.com/ru/blog/multilingual-speech-to-text-api/)
-   [Огласовки в арабском тексте через LLM: промпт, проверка, DER](https://broadrouter.com/ru/blog/arabic-diacritization-llm/)
-   [Проверка арабской орфографии и грамматики через LLM: руководство](https://broadrouter.com/ru/blog/arabic-grammar-spelling-correction-llm/)
-   [Руководство: API распознавания арабской речи: пошаговое руководство](https://broadrouter.com/ru/guides/arabic-speech-to-text-api/)

Проверьте на своей реальной нагрузке. Новые аккаунты получают стартовый грант US$5 на Gemma и распознавание речи. Для DeepSeek, GLM и Qwen3.8 нужно пополнить баланс.

[Начать](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-blog-arabic-asr-wer-explained&utm_content=page-cta) ·

**Источники**

-   [Каталог моделей BroadNet, распознавание речи: WER и место в рейтинге по данным BroadNet (загружено 2026-11-14) (на английском)](https://www.broadnet.ai/inference/models)
-   [Open Universal Arabic ASR Leaderboard, Space на Hugging Face (загружено 2026-11-14)](https://huggingface.co/spaces/elmresearchcenter/open_universal_arabic_asr_leaderboard)
-   [Wang, Alhmoud и Alqurishi, Open Universal Arabic ASR Leaderboard (Interspeech 2025; загружено 2026-11-14)](https://www.isca-archive.org/interspeech_2025/wang25_interspeech.html)
-   [Conneau et al., FLEURS: Few-shot Learning Evaluation of Universal Representations of Speech (arXiv; загружено 2026-11-14)](https://arxiv.org/abs/2205.12446)
-   [jiwer, Python-пакет для расчёта WER и CER (загружено 2026-11-14)](https://github.com/jitsi/jiwer)
