BroadRouter
Magsimula

Hamza

Na-update

Ang hamza (ء) ang letra ng glottal stop sa Arabic. Isinusulat ito nang mag-isa o nakapatong sa isang upuan: alef (أ إ), waw (ؤ) o yeh (ئ), at pinagsasama ng آ ang alef at madda. Dahil hindi pare-pareho ang pag-type nito, madalas ginagawang ا ng mga search engine at speech scoring ang mga anyong may alef.

Tinatawag ding: hamza normalization, hamzah, hamza forms, mga anyo ng hamza

Ang hamza ang maliit na marka na kadalasang naghihiwalay sa tamang spelling ng Arabic at sa karaniwang spelling. Iisang pangalan ang أحمد at احمد para sa mambabasa, pero magkaibang string para sa computer.

Paano ito gumagana

Sinasabi ng Unicode Standard na “the hamza may occur above or below other letters” (Salin ng BroadRouter: “puwedeng lumabas ang hamza sa itaas o ibaba ng ibang letra”), at inililista nito ang alef, waw at yeh bilang mga upuan. Ine-encode ang bawat anyong may upuan bilang iisang precomposed na character:

Character Code point Pangalan sa Unicode
ء U+0621 ARABIC LETTER HAMZA
أ U+0623 ARABIC LETTER ALEF WITH HAMZA ABOVE
إ U+0625 ARABIC LETTER ALEF WITH HAMZA BELOW
آ U+0622 ARABIC LETTER ALEF WITH MADDA ABOVE
ؤ U+0624 ARABIC LETTER WAW WITH HAMZA ABOVE
ئ U+0626 ARABIC LETTER YEH WITH HAMZA ABOVE

Nagtatakda rin ang Unicode ng mga decomposition: ang أ, ؤ at ئ ay canonically equivalent sa base letter na sinusundan ng U+0654 ARABIC HAMZA ABOVE. Kaya puwedeng dumating ang parehong nakikitang أ bilang isa o dalawang code point. Ibinabalik ng Unicode normalization sa NFC o NFKC ang ا + U+0654 sa iisang U+0623, kaya ito dapat mauna bago ang anumang hamza rule.

Hindi palaging isinusulat ang hamza sa tina-type na text, kaya puwedeng lumabas ang parehong salita na may أ, إ, آ o simpleng ا. Iyan ang variation na tinutugunan ng normalization. Mina-map ng normalize_alef_ar ng CAMeL Tools ang إ أ ٱ آ sa ا. Nino-normalize ng ArabicNormalizer ng Lucene ang “hamza with alef seat to a bare alef” (Salin ng BroadRouter: “hamza na nakaupo sa alef tungo sa simpleng alef”).

Bakit ito mahalaga

  • Search. Nag-type ang user ng اسلام at إسلام ang nasa dokumento mo. Kung walang alef rule, hindi ito makikita ng keyword search. Tingnan ang Arabic text normalization.
  • Speech scoring. Kinukuwenta ng Open Universal Arabic ASR Leaderboard ang WER pagkatapos ng “removing all punctuation as well as the diacritics, and normalizing characters with Hamzas and Maddas” (Salin ng BroadRouter: “pagtanggal ng lahat ng bantas at diacritics, at pag-normalize ng mga character na may Hamza at Madda”). Kung kinukuwenta mo ang sarili mong word error rate nang wala ang parehong hakbang, mabibilang na mali ang tamang transcript na walang hamza, at hindi maikukumpara ang mga numero mo sa leaderboard.
  • Ang kapalit. Pinagsasama ng pag-fold ng hamza ang mga salitang hamza lang ang pinagkaiba. Ang mga verb na سأل (nagtanong siya) at سال (umagos ito) ay parehong nagiging سال. Ang mga particle na إن at أن ay parehong nagiging ان. Katanggap-tanggap ito sa karamihan ng search; hindi sa spelling correction o legal na text.

Sa BroadNet Inference

Ipinapasa ng API ng BroadNet ang text nang walang binabago; sa code mo nangyayari ang paghawak sa hamza. Ordinaryong Arabic text ang mga transcript mula sa BroadNet Transcribe Arabic, kaya mag-apply ng iisang normalization sa reference mo at sa transcript bago mag-score. Ipadala ang language=ar, gaya ng payo ng docs ng BroadNet. Nasa gabay sa Arabic speech-to-text ang request.

Para sa pagtatama ng hamza sa text ng user, makakatulong ang isang chat model; ipinapakita ng post tungkol sa spelling correction kung paano i-check na ang sinadyang mga character lang ang nagbago. Para makita kung ano ang ginagawa ng folding sa mga string mo, subukan ang Arabic text normalizer.

Mga tanong

Letra ba o diacritic ang hamza?

Parehong pananaw ang umiiral. Ine-encode ng Unicode ang ء (U+0621) bilang letra, ARABIC LETTER HAMZA, at mayroon din itong combining na HAMZA ABOVE (U+0654) na ginagamit sa mga decomposed na anyo.

Dapat ko rin bang i-normalize ang ؤ at ئ?

Hindi ito ginagawa ng mga karaniwang tool bilang default. Mga anyong may alef lang ang sakop ng alef rule ng CAMeL Tools at ng rule ng Lucene. Lalong tumataas ang recall kapag isinama ang waw at yeh, pero mas maraming salita ang napagsasama; i-test ito sa mga query mo.

Aayusin ba ng LLM ang mga nawawalang hamza?

Madalas, kaya nito, bilang bahagi ng spelling correction, pero i-check na wala itong ibang binago. Huwag gamiting search key ang naitamang kopya nang hindi rin ito nino-normalize.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity