Bahasa Arab memungkinkan satu kata ditulis dengan beberapa cara. Pengguna mengetik احمد; dokumennya menulis أَحْمَد. Indeks pencarian yang membandingkan karakter secara persis akan melewatkan kecocokan itu, begitu pula separuh kata kunci dari pipeline RAG. Normalisasi memperbaikinya dengan memetakan varian ke satu bentuk sebelum dibandingkan. Jika dilakukan sembarangan, normalisasi juga menggabungkan kata-kata yang maknanya berbeda. Artikel ini membahas aturan demi aturan: apa yang dilakukan masing-masing, kapan diterapkan, apa yang dirusaknya, dan bagaimana library utama berbeda. Di akhir ada kode Python yang sudah diuji.
Untuk pipeline RAG bahasa Arab lengkap (chunking, pencarian hibrida, jawaban bersitasi), lihat RAG bahasa Arab yang berhasil. Artikel ini lebih mendalami langkah normalisasinya.
Apakah normalisasi benar-benar membantu retrieval?
Ya, untuk pencarian kata kunci, dan buktinya lama tetapi jelas. Larkey, Ballesteros, dan Connell (SIGIR 2002) menguji retrieval bahasa Arab pada koleksi berita kantor berita TREC-2001. Sebelum stemming, mereka menormalisasi korpus dan kueri: menghapus harakat dan tanda baca, menyatukan bentuk alif, dan memetakan ى serta ة di akhir kata. Hasil monolingual mereka, dengan kueri yang tidak diperluas:
| Pemrosesan | Average precision | Perubahan vs mentah (dari angka yang dibulatkan) |
|---|---|---|
| Teks mentah | 0,194 | — |
| Ternormalisasi | 0,238 | +22,7% |
| Ternormalisasi + light stemming (light8) | 0,376 | +93,8% |
Dua catatan. Ini retrieval kata kunci tahun 2002 pada berita, bukan pencarian embedding. Dan peningkatan terbesar datang dari light stemming (menghapus prefiks seperti و dan ال serta sufiks umum), yang merupakan langkah terpisah dari normalisasi. ArabicAnalyzer milik Lucene dan analyzer arabic milik Elasticsearch menerapkan keduanya: normalizer, lalu light stemmer.
Apa yang perlu dinormalisasi, dan apa harga setiap aturan?
| Aturan | Contoh | Indeks pencarian | Risiko |
|---|---|---|---|
| Unicode NFKC | ﻻ → لا, ا + ٔ → أ | Ya, selalu pertama | Juga menulis ulang karakter kompatibilitas di aksara lain |
| Hapus tanda tak terlihat | zero-width joiner, RLM/LRM, BOM | Ya | Tidak ada untuk bahasa Arab; ZWNJ penting dalam bahasa Persia |
| Hapus tasykil | أَحْمَدُ → أحمد | Ya | Menggabungkan kata yang hanya dibedakan oleh vokal |
| Hapus tatwil (ـ) | الـــمدينة → المدينة | Ya | Tidak ada |
| Satukan alif | أ إ آ ٱ → ا | Ya | Menggabungkan beberapa pasangan: سأل (bertanya) dan سال (mengalir) |
| Alif maqsurah | ى → ي | Biasanya | Menggabungkan على (di atas) dan علي (Ali) |
| Ta marbutah | ة → ه | Biasanya | Menggabungkan كتابة (tulisan) dan كتابه (bukunya) |
| Dudukan hamzah | ؤ ئ → ء | Opsional | Menggabungkan مسؤول dan مسئول (bagus) tetapi juga beberapa kata yang berbeda |
| Huruf Persia | ی → ي, ک → ك | Ya, jika pengguna memakai keyboard Persia | Tidak ada untuk teks Arab |
| Digit | ٢٠٢٦ dan ۲۰۲۶ → 2026 | Ya | Tidak ada; simpan aslinya untuk tampilan |
Kolom pertama berlaku untuk kunci indeks dan kueri. Teks yang Anda simpan, tampilkan, dan kirim ke model tetap seperti aslinya.
Mengapa normalisasi Unicode harus dilakukan pertama?
Huruf yang tampak sama bisa disimpan dengan cara berbeda. أ bisa berupa satu code point (U+0623) atau alif polos diikuti hamzah gabung (U+0627 U+0654). PDF lama dan sebagian keyboard menghasilkan presentation form Arab (U+FB50 hingga U+FEFF), seperti lam-alif satu karakter ﻻ. Dalam normalisasi Unicode, NFC menyusun hamzah ke atas alif, dan NFKC juga membongkar presentation form dan ligatur. Di Python, unicodedata.normalize("NFKC", "ﻻ") mengembalikan لا, dan ﷲ menjadi الله.
Jalankan ini sebelum yang lain. Jika tidak, regex yang mengganti أ akan melewatkan bentuk yang terurai. Ada jebakan kedua: dediac_ar milik CAMeL Tools menghapus karakter di AR_DIAC_CHARSET-nya (U+064B hingga U+0652 dan U+0670). Set itu tidak mencakup tanda hamzah dan madda gabung (U+0653 hingga U+0655), sehingga pada teks terurai tanda-tanda itu lolos dari penghapusan harakat. NFKC menyusunnya lebih dulu.
NFKC adalah pemetaan kompatibilitas. NFKC juga mengubah karakter di luar bahasa Arab, misalnya huruf Latin full-width. Untuk kunci pencarian, biasanya itulah yang Anda inginkan, dan satu alasan lagi untuk menyimpan teks asli di sampingnya.
Apa yang sebaiknya tidak dinormalisasi?
- Teks yang Anda tampilkan, sitasi, atau kutip. Teks Arab ternormalisasi tampak salah eja (المدينه). Simpan teks asli di samping kuncinya.
- Apa yang Anda kirim ke LLM. Model membaca hamzah dan tasykil dengan baik, dan teks persis menjaga nama dan kutipan tetap benar. Menghapus tasykil menghemat sedikit token; cek berapa banyak dengan penghitung token bahasa Arab sebelum Anda mengorbankan akurasi untuk itu.
- Teks di mana tanda membawa makna: Al-Qur’an, hadis, puisi, buku anak-anak, tugas pelafalan dan pemberian harakat (lihat menambahkan harakat dengan LLM).
- Koreksi ejaan atau tata bahasa: menormalisasi lebih dulu menghapus kesalahan hamzah dan ta marbutah yang ingin Anda perbaiki; lihat koreksi tata bahasa dan ejaan Arab dengan LLM.
- Identifier. Kode produk, email, URL, dan teks Latin tidak boleh melewati aturan bahasa Arab. Terapkan normalisasi hanya pada field beraksara Arab, atau hanya pada token Arab.
- Field yang dicari orang secara persis. Untuk nama resmi atau field mirip ID, indeks juga salinan mentahnya, agar kecocokan persis tetap bisa berada di peringkat teratas.
Apa beda CAMeL Tools, PyArabic, dan Lucene?
Ketiganya tidak menerapkan aturan yang sama, dan mencampurnya menghasilkan indeks dan kueri yang tidak pernah cocok. Kami membaca dokumentasi dan kode sumber setiap library, dan menjalankan PyArabic 0.6.15:
| Fungsi | Apa yang sebenarnya dilakukan |
|---|---|
CAMeL normalize_unicode |
NFKC (atau NFC dengan compatibility=False); juga menguraikan ﷼ menjadi ريال dan ﷽ menjadi frasa lengkapnya |
CAMeL normalize_alef_ar |
إ أ ٱ آ → ا |
CAMeL normalize_alef_maksura_ar |
ى → ي |
CAMeL normalize_teh_marbuta_ar |
ة → ه |
CAMeL dediac_ar |
Menghapus U+064B hingga U+0652 dan U+0670; membiarkan tatwil |
PyArabic strip_tashkeel |
Menghapus semua harakat termasuk syaddah |
PyArabic strip_tatweel |
Menghapus ـ |
PyArabic normalize_alef |
Setiap bentuk alif dan ى → ا, sehingga إلى menjadi الا |
PyArabic normalize_hamza |
Metode bawaannya memetakan setiap bentuk hamzah ke ء, termasuk أ, sehingga أحمد menjadi ءحمد |
Lucene ArabicNormalizer |
Bentuk hamzah-di-atas-alif → ا, ة → ه, ى → ي, menghapus harakat dan tatwil |
Baris PyArabic sering mengejutkan. Docstring normalize_alef menyebut alif maqsurah sebagai pengecualian, tetapi di 0.6.15 set ALEFAT mencakup ى, dan fungsi itu memetakannya ke ا. normalize_hamza dibuat untuk pencocokan yang mengabaikan hamzah, bukan untuk pencarian umum. Urutan juga penting: jalankan normalisasi alif lebih dulu, maka normalize_hamza hanya menyentuh ؤ, ئ, dan ء, sehingga مسؤول dan مسئول keduanya menjadi مسءول. Metode tasheel-nya justru menghasilkan مسوول dan مسيول, yang tidak saling cocok.
Filter arabic_normalization milik Elasticsearch memakai normalizer Lucene, jadi pipeline Python yang ingin cocok dengan indeks Elasticsearch harus menyalin aturan Lucene persis. Artinya ى → ي, bukan ى → ا.
Seperti apa normalizer yang sudah diuji?
Fungsi ini mengikuti pilihan Lucene, menambahkan penanganan Unicode, digit, dan huruf Persia, dan membuat aturan yang berisiko bisa dinyalakan atau dimatikan. Fungsi ini hanya memakai standard library.
import re
import unicodedata
DIACRITICS = re.compile("[ً-ٰٟ]") # tashkeel, extra marks, superscript alef
INVISIBLE = re.compile("[---]") # zero-width, bidi
ALEF = re.compile("[آأإٱ]") # آ أ إ ٱ -> ا
DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹", "0123456789" * 2)
FARSI = str.maketrans({"ی": "ي", "ک": "ك"}) # ی -> ي, ک -> ك
def normalize(text, *, alef=True, alef_maksura=True, ta_marbuta=True,
hamza_seats=False, digits=True):
text = unicodedata.normalize("NFKC", text) # compose marks, unpack ligatures
text = INVISIBLE.sub("", text)
text = DIACRITICS.sub("", text).replace("ـ", "") # tashkeel, tatweel
text = text.translate(FARSI)
if alef:
text = ALEF.sub("ا", text)
if alef_maksura:
text = text.replace("ى", "ي") # ى -> ي
if ta_marbuta:
text = text.replace("ة", "ه") # ة -> ه
if hamza_seats:
text = re.sub("[ؤئ]", "ء", text) # ؤ ئ -> ء
if digits:
text = text.translate(DIGITS)
return text
Hasilnya pada string tes kami:
| Input | Output | Catatan |
|---|---|---|
| أَحْمَدُ | احمد | Tasykil dan hamzah hilang |
| الـــمدينة | المدينه | Tatwil dan ta marbutah |
| إلى | الي | Alif dan alif maqsurah |
| ا + U+0654 + مل | امل | Hamzah terurai disusun, lalu disatukan |
| ﻻبد | لابد | Presentation form dibongkar |
| ٢٠٢٦ / ۱۴۰۵ | 2026 / 1405 | Digit Arab-Indic dan Persia |
| مسؤول / مسئول | Keduanya مسءول dengan hamza_seats=True |
Tidak berubah secara bawaan |
| فارسی | فارسي | Ya Persia |
Pakai di dua tempat: saat Anda membangun kunci indeks dan saat Anda membaca kueri. Simpan original dan normalize(original) berdampingan, cari pada yang kedua dan kembalikan yang pertama. Normalizer teks Arab gratis memungkinkan Anda menempel teks dan melihat efek setiap aturan sebelum memilih pengaturan.
Bagaimana normalisasi cocok dengan embedding dan RAG?
Pipeline RAG biasanya punya dua retriever: pencarian kata kunci (BM25) dan embedding. Normalisasi jelas membantu sisi kata kunci. Untuk sisi embedding, bukti di atas tidak berlaku: model embedding dilatih pada teks mentah, dan banyak yang sudah menempatkan احمد dan أحمد berdekatan. Menormalisasi sebelum embedding bisa membantu, tidak berpengaruh, atau merugikan. Buat 50 hingga 100 kueri nyata dengan jawaban yang diketahui, jalankan dengan input mentah dan ternormalisasi, dan pertahankan mana pun yang recall-nya lebih tinggi. Apa pun pilihan Anda, terapkan secara identik pada dokumen dan kueri.
Normalisasi juga sedikit menurunkan jumlah token, karena harakat dan tatwil adalah karakter tambahan bagi tokenizer. Rasio hasil pengukuran ada di dataset efisiensi tokenizer dan token per kata dalam bahasa Arab. Normalisasi yang sama dipakai untuk menilai pengenalan ucapan secara adil; lihat penjelasan WER bahasa Arab.
Arabizi (bahasa Arab dalam huruf Latin) membutuhkan pendekatan yang sama sekali berbeda: cara LLM menangani Arabizi.
Di mana posisi BroadNet Inference?
Normalisasi berjalan di kode Anda sendiri, jadi tidak perlu API untuk itu. BroadNet Inference masuk setelah retrieval. BroadNet tidak menjual embedding, jadi pasangkan retriever dan penyedia embedding pilihan Anda dengan model chat BroadNet untuk langkah menjawab. GLM 5.3 dan DeepSeek V4.1 Flash menerima konteks 1.048.576 token, jadi Anda bisa mengirim banyak bagian hasil retrieval dalam bahasa Arab aslinya yang tidak dinormalisasi. Untuk memilih model berdasarkan kualitas bahasa Arab, lihat memilih LLM untuk bahasa Arab. Jika Anda hanya membutuhkan pencarian kata kunci, analyzer arabic bawaan Elasticsearch mungkin sudah cukup.
