BroadRouter

Арабские огласовки (ташкиль, tashkeel)

Обновлено

Арабские огласовки, или ташкиль, — это небольшие знаки над буквами или под ними, которые обозначают краткие гласные, удвоенные согласные и отсутствие гласного. Они необязательны: в большинстве арабских текстов, включая новости, их нет, и читатель или программа восстанавливает гласные по контексту.

Также называют: огласовки, арабские огласовки, ташкиль, ташкил, харакат, огласовка текста, расстановка огласовок, диакритика арабского, tashkeel, tashkil, harakat, diacritization, Arabic diacritization, diacritics, vowel marks

Одни и те же три арабские буквы могут означать «он написал», «книги» или «было написано». Различают их огласовки, а в большинстве текстов огласовок нет.

Как это работает

Стандарт Unicode называет эти знаки tashkil и пишет, что они “may be written as combining marks” (перевод: «могут записываться комбинируемыми знаками»), а затем добавляет: “In normal writing, however, these marks are omitted.” (перевод: «Однако в обычном письме эти знаки опускаются».) Харакат — название подмножества знаков кратких гласных. Каждый знак — отдельный комбинируемый символ, который идёт после буквы, к которой относится. Основные знаки лежат в диапазоне от U+064B до U+0652:

Кодовая точка Название Роль
U+064E FATHA краткое a
U+064F DAMMA краткое u
U+0650 KASRA краткое i
U+064B до U+064D FATHATAN, DAMMATAN, KASRATAN танвин (окончания -an, -un, -in)
U+0651 SHADDA удвоенный согласный
U+0652 SUKUN отсутствие гласного

Пример с голым словом كتب:

  • كَتَبَ (kataba), «он написал»
  • كُتُب (kutub), «книги»
  • كُتِبَ (kutiba), «было написано»

Без знаков все три слова — одна и та же строка. Человек выбирает значение по предложению. Программе приходится делать то же самое, и этим занимается диакритизатор. Zerrouki и Balla (2017) собрали корпус Tashkeela, около 75,6 млн слов, в основном на классическом арабском, потому что полностью огласованных текстов мало, а диакритизаторам они нужны для обучения. Fadel и соавторы (2019) сообщают о нейросетевых моделях расстановки огласовок, которые на открытом бенчмарке не уступают прежним работам или превосходят их, и показывают, что огласовки могут помогать машинному переводу.

Библиотеки рассматривают эти знаки как один набор. AR_DIAC_CHARSET в CAMeL Tools содержит U+064B–U+0652 и U+0670 (надстрочный алиф), а функция dediac_ar их удаляет.

Почему это важно

  • Поиск и сопоставление. Одно и то же слово с огласовками и без них — разные строки. Удаляйте знаки из поискового ключа в рамках нормализации арабского текста, иначе точные совпадения не найдутся.
  • Токены. Каждый знак — лишний символ для токенизатора. Полностью огласованный текст заметно дороже по токенам, чем текст без знаков; измеренные соотношения есть в руководстве по огласовкам, а базовый уровень — в статье о числе токенов на арабское слово.
  • Речь и оценка. Транскрипты обычно приходят без огласовок. Считайте долю ошибок в словах (WER) после удаления знаков из обоих текстов, иначе правильное слово с лишней фатхой засчитается как ошибка.
  • Когда огласовки нужны. Синтез речи, обучение языку, коранические и поэтические тексты, а также имена, которые без гласных читаются неоднозначно.

В BroadNet Inference

Отдельного эндпоинта для расстановки огласовок у BroadNet нет. Чат-модели получают ташкиль как обычный текст через POST /v1/chat/completions, так что можно попросить модель, например Qwen3.8 27B, добавить или убрать знаки. Надёжная схема — проверять ответ в коде: удалите огласовки и сравните результат со своим входным текстом буква в букву. Промпт и проверка приведены в статье о расстановке огласовок с помощью LLM.

Для удаления знаков модель не нужна вовсе. Короткое регулярное выражение по диапазону U+064B–U+0652 быстрее, бесплатно и точно. Нормализатор арабского текста показывает результат прямо в браузере.

Вопросы и ответы

Нужно ли убирать огласовки перед индексацией арабского текста?

Для поиска по ключевым словам — обычно да, но только в поисковом ключе. Авторы Tashkeela отмечают, что большинство поисковых систем огласовки игнорирует. Исходный текст сохраняйте для показа пользователю и для LLM.

Почему арабский текст с огласовками стоит больше токенов?

Каждый знак — отдельный символ Unicode, поэтому в полностью огласованном слове больше символов, которые делит токенизатор. Посчитайте токены своего текста счётчиком до и после добавления ташкиля.

Может ли LLM надёжно расставлять огласовки?

Расставить может, но при этом может изменить и сами буквы. Удалите знаки из ответа и сравните с входным текстом; отбрасывайте любой ответ, в котором изменилась хотя бы одна буква.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity