Для большинства читателей арабского مدرسة и مدرسه — одно и то же слово, «школа». Для сравнения строк это разные слова. Причина — та марбута.
Как это работает
Стандарт Unicode относит TEH MARBUTA (U+0629) к конечным символам, которые встречаются только в конце слова или морфемы. Она соединяется только справа, то есть только с предыдущей буквой. По форме это конечная HEH (U+0647) плюс две точки:
| Символ | Кодовая точка | Имя в Unicode | Конечная форма после ب |
|---|---|---|---|
| ة | U+0629 | ARABIC LETTER TEH MARBUTA | بة |
| ه | U+0647 | ARABIC LETTER HEH | به |
Поскольку два варианта различаются лишь двумя точками в конце слова, в набранном тексте встречаются оба написания. Bouamor и др. (2018) отмечают, что у современного литературного арабского стандартная орфография есть, а у диалектов нет, и люди часто пишут слова так, как их произносят. Поэтому в неформальном тексте и на диалектном арабском ожидайте конечную ه там, где словарь написал бы ة.
Поисковые нормализаторы сводят их в одну. normalize_teh_marbuta_ar в CAMeL Tools — это простое s.replace('ة', 'ه'), а ArabicNormalizer в Lucene перечисляет среди правил “normalization of teh marbuta to heh” (перевод: «нормализация та марбуты в ха»).
Почему это важно
Полнота. Если свести ة к ه, запрос مدرسه найдёт документы с написанием مدرسة, и наоборот. Это одно из стандартных правил нормализации арабского текста наряду со сведением алифа и хамзы.
Слияние слов. Правило также склеивает слова, которые различаются только этой буквой:
| Исходное | Значение | После ة → ه |
|---|---|---|
| كرة | мяч | كره |
| كره | ненависть | كره |
Для поиска редкие ложные совпадения обычно приемлемая цена. Для сопоставления сущностей, проверки орфографии или юридических текстов сохраняйте различие и сравнивайте оригиналы.
Оценка. При оценке распознавания речи расшифровка, где стоит ه, а в эталоне ة, считается ошибкой в слове, если обе стороны не нормализованы одинаково. Решите это до подсчёта и укажите явно.
В BroadNet Inference
API BroadNet не нормализует текст. Чат-модели получают и возвращают ة и ه ровно так, как они написаны, а BroadNet Transcribe Arabic возвращает обычный арабский текст. Применяйте правило для ة в собственном коде индексации или оценки, с обеих сторон.
Если вы просите чат-модель исправить орфографию, проверяйте её правки в коде: в статье об исправлении арабской орфографии показана проверка через diff. Для индексов место этого правила показывают статья об арабском RAG-поиске и руководство по нормализации. Попробовать правило на своих строках можно в нормализаторе арабского текста.