BroadRouter
Начать

Хамза (hamza)

Обновлено

Хамза (ء) — арабская буква, обозначающая гортанную смычку. Она пишется отдельно или на подставке: алиф (أ إ), вав (ؤ) или йа (ئ), а آ сочетает алиф с маддой. Поскольку в набранном тексте её пишут непоследовательно, поисковые системы и оценка распознавания речи часто сводят формы алифа к ا.

Также называют: хамза, хамзя, гамза, нормализация хамзы, формы хамзы, hamza, hamza normalization, hamzah, hamza forms

Хамза — небольшой знак, который чаще всего отличает правильное арабское написание от распространённого. Для читателя أحمد и احمد — одно и то же имя, а для компьютера — разные строки.

Как это работает

Стандарт Unicode говорит, что “the hamza may occur above or below other letters” (перевод: «хамза может стоять над другими буквами или под ними»), и называет подставками алиф, вав и йа. Каждая форма на подставке кодируется одним составным символом:

Символ Кодовая точка Имя в Unicode
ء U+0621 ARABIC LETTER HAMZA
أ U+0623 ARABIC LETTER ALEF WITH HAMZA ABOVE
إ U+0625 ARABIC LETTER ALEF WITH HAMZA BELOW
آ U+0622 ARABIC LETTER ALEF WITH MADDA ABOVE
ؤ U+0624 ARABIC LETTER WAW WITH HAMZA ABOVE
ئ U+0626 ARABIC LETTER YEH WITH HAMZA ABOVE

Unicode также определяет разложения: каждый из символов أ, ؤ и ئ канонически эквивалентен базовой букве, за которой следует U+0654 ARABIC HAMZA ABOVE. Поэтому одна и та же видимая أ может прийти как одна кодовая точка или как две. Нормализация Unicode в NFC или NFKC превращает ا + U+0654 обратно в единый U+0623, поэтому её нужно выполнять до любых правил для хамзы.

В набранном тексте хамзу пишут не всегда, поэтому одно и то же слово может встретиться с أ, إ, آ или с голым ا. Именно на эту вариативность и нацелена нормализация. Функция normalize_alef_ar в CAMeL Tools сводит إ أ ٱ آ к ا. ArabicNormalizer в Lucene нормализует “hamza with alef seat to a bare alef” (перевод: «хамзу на подставке алиф в голый алиф»).

Почему это важно

  • Поиск. Пользователь набирает اسلام, а в вашем документе — إسلام. Без правила для алифа поиск по ключевым словам это пропустит. См. нормализацию арабского текста.
  • Оценка распознавания речи. Open Universal Arabic ASR Leaderboard считает WER после “removing all punctuation as well as the diacritics, and normalizing characters with Hamzas and Maddas” (перевод: «удаления всей пунктуации и огласовок и нормализации символов с хамзами и маддами»). Если вы считаете собственную долю ошибок в словах без того же шага, правильная расшифровка, в которой пропущена хамза, засчитывается как ошибка, и ваши цифры будет нельзя сравнить с лидербордом.
  • Цена. Сведение хамзы объединяет слова, которые отличаются только ею. Глаголы سأل («он спросил») и سال («оно потекло») оба превращаются в سال. Частицы إن и أن обе становятся ان. Для большинства задач поиска это приемлемо, а для исправления орфографии или юридических текстов — нет.

В BroadNet Inference

API BroadNet передаёт текст без изменений; обработка хамзы происходит в вашем коде. Расшифровки от BroadNet Transcribe Arabic — обычный арабский текст, поэтому перед оценкой применяйте одинаковую нормализацию и к эталону, и к расшифровке. Отправляйте language=ar, как советует документация BroadNet. Запрос приведён в руководстве по распознаванию арабской речи.

Исправить хамзу в пользовательском тексте может помочь чат-модель; статья об исправлении орфографии показывает, как проверить, что изменились только нужные символы. Чтобы увидеть, что сведение делает с вашими строками, попробуйте нормализатор арабского текста.

Вопросы и ответы

Хамза — это буква или диакритический знак?

Существуют обе точки зрения. Unicode кодирует ء (U+0621) как букву ARABIC LETTER HAMZA, а также имеет комбинируемый знак HAMZA ABOVE (U+0654), который используется в разложенных формах.

Нужно ли нормализовать также ؤ и ئ?

Распространённые инструменты по умолчанию этого не делают. Правило для алифа в CAMeL Tools и правило Lucene охватывают только формы алифа. Сведение подставок вав и йа ещё больше повышает полноту поиска, но объединяет больше слов; проверьте это на своих запросах.

Исправит ли LLM пропущенные хамзы?

Часто может, в рамках исправления орфографии, но проверьте, что больше ничего не изменилось. Не используйте исправленную копию как поисковый ключ, не нормализовав и её.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity