Одни и те же три арабские буквы могут означать «он написал», «книги» или «было написано». Различают их огласовки, а в большинстве текстов огласовок нет.
Как это работает
Стандарт Unicode называет эти знаки tashkil и пишет, что они “may be written as combining marks” (перевод: «могут записываться комбинируемыми знаками»), а затем добавляет: “In normal writing, however, these marks are omitted.” (перевод: «Однако в обычном письме эти знаки опускаются».) Харакат — название подмножества знаков кратких гласных. Каждый знак — отдельный комбинируемый символ, который идёт после буквы, к которой относится. Основные знаки лежат в диапазоне от U+064B до U+0652:
| Кодовая точка | Название | Роль |
|---|---|---|
| U+064E | FATHA | краткое a |
| U+064F | DAMMA | краткое u |
| U+0650 | KASRA | краткое i |
| U+064B до U+064D | FATHATAN, DAMMATAN, KASRATAN | танвин (окончания -an, -un, -in) |
| U+0651 | SHADDA | удвоенный согласный |
| U+0652 | SUKUN | отсутствие гласного |
Пример с голым словом كتب:
- كَتَبَ (kataba), «он написал»
- كُتُب (kutub), «книги»
- كُتِبَ (kutiba), «было написано»
Без знаков все три слова — одна и та же строка. Человек выбирает значение по предложению. Программе приходится делать то же самое, и этим занимается диакритизатор. Zerrouki и Balla (2017) собрали корпус Tashkeela, около 75,6 млн слов, в основном на классическом арабском, потому что полностью огласованных текстов мало, а диакритизаторам они нужны для обучения. Fadel и соавторы (2019) сообщают о нейросетевых моделях расстановки огласовок, которые на открытом бенчмарке не уступают прежним работам или превосходят их, и показывают, что огласовки могут помогать машинному переводу.
Библиотеки рассматривают эти знаки как один набор. AR_DIAC_CHARSET в CAMeL Tools содержит U+064B–U+0652 и U+0670 (надстрочный алиф), а функция dediac_ar их удаляет.
Почему это важно
- Поиск и сопоставление. Одно и то же слово с огласовками и без них — разные строки. Удаляйте знаки из поискового ключа в рамках нормализации арабского текста, иначе точные совпадения не найдутся.
- Токены. Каждый знак — лишний символ для токенизатора. Полностью огласованный текст заметно дороже по токенам, чем текст без знаков; измеренные соотношения есть в руководстве по огласовкам, а базовый уровень — в статье о числе токенов на арабское слово.
- Речь и оценка. Транскрипты обычно приходят без огласовок. Считайте долю ошибок в словах (WER) после удаления знаков из обоих текстов, иначе правильное слово с лишней фатхой засчитается как ошибка.
- Когда огласовки нужны. Синтез речи, обучение языку, коранические и поэтические тексты, а также имена, которые без гласных читаются неоднозначно.
В BroadNet Inference
Отдельного эндпоинта для расстановки огласовок у BroadNet нет. Чат-модели получают ташкиль как обычный текст через POST /v1/chat/completions, так что можно попросить модель, например Qwen3.8 27B, добавить или убрать знаки. Надёжная схема — проверять ответ в коде: удалите огласовки и сравните результат со своим входным текстом буква в букву. Промпт и проверка приведены в статье о расстановке огласовок с помощью LLM.
Для удаления знаков модель не нужна вовсе. Короткое регулярное выражение по диапазону U+064B–U+0652 быстрее, бесплатно и точно. Нормализатор арабского текста показывает результат прямо в браузере.