BroadRouter
Mulai

Hamzah (hamza)

Diperbarui

Hamzah (ء) adalah huruf Arab untuk hentian glotal. Hamzah ditulis sendiri atau di atas sebuah dudukan: alif (أ إ), wawu (ؤ), atau ya (ئ), sedangkan آ menggabungkan alif dengan madd. Karena teks ketikan tidak konsisten soal hamzah, mesin pencari dan penilaian ucapan sering melebur bentuk-bentuk alif menjadi ا.

Disebut juga: hamzah, hamza, normalisasi hamzah, bentuk hamzah, hamza normalization, hamza forms

Hamzah adalah tanda kecil yang paling sering membedakan ejaan bahasa Arab yang benar dari ejaan yang umum dipakai. أحمد dan احمد adalah nama yang sama bagi pembaca, tetapi string yang berbeda bagi komputer.

Cara kerjanya

Unicode Standard menyatakan “the hamza may occur above or below other letters” (terjemahan: hamzah dapat muncul di atas atau di bawah huruf lain), dan mencantumkan alif, wawu, dan ya sebagai dudukan. Setiap bentuk berdudukan dikodekan sebagai satu karakter prakomposisi:

Karakter Code point Nama Unicode
ء U+0621 ARABIC LETTER HAMZA
أ U+0623 ARABIC LETTER ALEF WITH HAMZA ABOVE
إ U+0625 ARABIC LETTER ALEF WITH HAMZA BELOW
آ U+0622 ARABIC LETTER ALEF WITH MADDA ABOVE
ؤ U+0624 ARABIC LETTER WAW WITH HAMZA ABOVE
ئ U+0626 ARABIC LETTER YEH WITH HAMZA ABOVE

Unicode juga mendefinisikan dekomposisi: أ, ؤ, dan ئ masing-masing ekuivalen secara kanonis dengan huruf dasarnya diikuti U+0654 ARABIC HAMZA ABOVE. Jadi أ yang tampak sama bisa datang sebagai satu atau dua code point. Normalisasi Unicode ke NFC atau NFKC mengubah ا + U+0654 kembali menjadi satu karakter U+0623, itulah sebabnya normalisasi ini harus dijalankan sebelum aturan hamzah apa pun.

Teks ketikan tidak selalu menulis hamzah, sehingga kata yang sama bisa muncul dengan أ, إ, آ, atau ا polos. Variasi inilah yang menjadi sasaran normalisasi. normalize_alef_ar di CAMeL Tools memetakan إ أ ٱ آ menjadi ا. ArabicNormalizer di Lucene menormalisasi “hamza with alef seat to a bare alef” (terjemahan: hamzah berdudukan alif menjadi alif polos).

Mengapa penting

  • Pencarian. Pengguna mengetik اسلام dan dokumen Anda berisi إسلام. Tanpa aturan alif, pencarian kata kunci melewatkannya. Lihat normalisasi teks bahasa Arab.
  • Penilaian ucapan. Open Universal Arabic ASR Leaderboard menghitung WER setelah “removing all punctuation as well as the diacritics, and normalizing characters with Hamzas and Maddas” (terjemahan: menghapus semua tanda baca serta harakat, dan menormalisasi karakter yang memiliki hamzah dan madd). Jika Anda menghitung word error rate sendiri tanpa langkah yang sama, transkrip yang benar tetapi tanpa hamzah akan dihitung salah, dan angka Anda tidak bisa dibandingkan dengan angka leaderboard.
  • Konsekuensinya. Melebur hamzah menggabungkan kata-kata yang hanya berbeda pada hamzah. Kata kerja سأل (ia bertanya) dan سال (ia mengalir) sama-sama menjadi سال. Partikel إن dan أن sama-sama menjadi ان. Untuk sebagian besar pencarian ini bisa diterima; untuk koreksi ejaan atau teks hukum tidak.

Di BroadNet Inference

API BroadNet meneruskan teks tanpa mengubahnya; penanganan hamzah terjadi di kode Anda. Transkrip dari BroadNet Transcribe Arabic adalah teks Arab biasa, jadi terapkan satu normalisasi yang sama pada referensi dan transkrip sebelum menilai. Kirim language=ar, sesuai saran dokumentasi BroadNet. Panduan speech-to-text bahasa Arab berisi contoh request-nya.

Untuk memperbaiki hamzah di teks pengguna, model chat bisa membantu; artikel koreksi ejaan menunjukkan cara memeriksa bahwa hanya karakter yang dimaksud yang berubah. Untuk melihat efek peleburan pada string Anda, coba normalizer teks bahasa Arab.

Pertanyaan umum

Apakah hamzah itu huruf atau tanda baca?

Kedua pandangan ada. Unicode mengodekan ء (U+0621) sebagai huruf, ARABIC LETTER HAMZA, dan juga punya karakter kombinasi HAMZA ABOVE (U+0654) yang dipakai dalam bentuk terurai.

Apakah ؤ dan ئ juga perlu dinormalisasi?

Tool yang umum tidak melakukannya secara default. Aturan alif CAMeL Tools dan aturan Lucene hanya mencakup bentuk-bentuk alif. Melebur dudukan wawu dan ya akan menaikkan recall lebih jauh tetapi menggabungkan lebih banyak kata; uji pada query Anda.

Apakah LLM bisa memperbaiki hamzah yang hilang?

Sering kali bisa, sebagai bagian dari koreksi ejaan, tetapi periksa bahwa model tidak mengubah hal lain. Jangan pakai teks hasil koreksi sebagai kunci pencarian tanpa menormalisasinya juga.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity