---
title: "Normalisasi teks Arab untuk pencarian dan RAG | BroadRouter"
description: "Tasykil, bentuk alif, ta marbutah, dudukan hamzah, huruf Persia, digit, dan Unicode: aturan normalisasi Arab mana yang membantu pencarian, mana yang merugikan."
url: https://broadrouter.com/id/blog/arabic-text-normalization-search/
lang: id
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan dari bahasa Inggris dengan bantuan AI. [Baca versi asli bahasa Inggris](https://broadrouter.com/blog/arabic-text-normalization-search/) (diperbarui 2026-11-16).

# Normalisasi teks Arab untuk pencarian dan RAG: apa yang perlu diubah

Oleh tim BroadNet Inference · 7 menit baca · Dipublikasikan 2026-11-15 · Diperbarui 2026-11-16

Untuk indeks pencarian dan RAG, normalisasi salinan yang disimpan dan setiap kueri dengan cara yang sama: Unicode NFKC, hapus tasykil dan tatwil, satukan bentuk alif, petakan ى ke ي dan ة ke ه, serta konversi digit. Simpan teks asli untuk tampilan dan untuk LLM. Perlakukan dudukan hamzah dan ta marbutah sebagai opsi yang bisa disetel: keduanya menaikkan recall tetapi menggabungkan sebagian kata yang berbeda.

## Poin penting

-   Normalisasi kunci pencarian, jangan pernah teks yang Anda tampilkan atau kutip. Simpan teks asli di sampingnya.
-   Dalam studi klasik pada berita kantor berita Arab TREC-2001, normalisasi saja menaikkan average precision dari 0,194 ke 0,238, dan light stemming di atasnya mencapai 0,376.
-   Jalankan Unicode NFKC lebih dulu. NFKC menyusun hamzah yang terurai, membongkar presentation form dan ligatur, dan membuat aturan-aturan berikutnya andal.
-   Library tidak sepakat. normalize\_alef milik PyArabic memetakan ى ke ا; CAMeL Tools memetakan ى ke ي. Pilih satu set aturan dan pakai di mana-mana.
-   Untuk pencarian embedding, uji input ternormalisasi dan mentah pada kueri Anda sendiri. Aturan normalisasi diukur pada pencarian kata kunci.

**Di halaman ini**

1.  Apakah normalisasi benar-benar membantu retrieval?
2.  Apa yang perlu dinormalisasi, dan apa harga setiap aturan?
3.  Mengapa normalisasi Unicode harus dilakukan pertama?
4.  Apa yang sebaiknya tidak dinormalisasi?
5.  Apa beda CAMeL Tools, PyArabic, dan Lucene?
6.  Seperti apa normalizer yang sudah diuji?
7.  Bagaimana normalisasi cocok dengan embedding dan RAG?
8.  Di mana posisi BroadNet Inference?

Bahasa Arab memungkinkan satu kata ditulis dengan beberapa cara. Pengguna mengetik احمد; dokumennya menulis أَحْمَد. Indeks pencarian yang membandingkan karakter secara persis akan melewatkan kecocokan itu, begitu pula separuh kata kunci dari pipeline RAG. Normalisasi memperbaikinya dengan memetakan varian ke satu bentuk sebelum dibandingkan. Jika dilakukan sembarangan, normalisasi juga menggabungkan kata-kata yang maknanya berbeda. Artikel ini membahas aturan demi aturan: apa yang dilakukan masing-masing, kapan diterapkan, apa yang dirusaknya, dan bagaimana library utama berbeda. Di akhir ada kode Python yang sudah diuji.

Untuk pipeline RAG bahasa Arab lengkap (chunking, pencarian hibrida, jawaban bersitasi), lihat [RAG bahasa Arab yang berhasil](https://broadrouter.com/id/blog/arabic-rag-search/). Artikel ini lebih mendalami langkah normalisasinya.

## Apakah normalisasi benar-benar membantu retrieval?

Ya, untuk pencarian kata kunci, dan buktinya lama tetapi jelas. Larkey, Ballesteros, dan Connell (SIGIR 2002) menguji retrieval bahasa Arab pada koleksi berita kantor berita TREC-2001. Sebelum stemming, mereka menormalisasi korpus dan kueri: menghapus harakat dan tanda baca, menyatukan bentuk alif, dan memetakan ى serta ة di akhir kata. Hasil monolingual mereka, dengan kueri yang tidak diperluas:

| Pemrosesan | Average precision | Perubahan vs mentah (dari angka yang dibulatkan) |
| --- | --- | --- |
| Teks mentah | 0,194 | — |
| Ternormalisasi | 0,238 | +22,7% |
| Ternormalisasi + light stemming (light8) | 0,376 | +93,8% |

Dua catatan. Ini retrieval kata kunci tahun 2002 pada berita, bukan pencarian embedding. Dan peningkatan terbesar datang dari light stemming (menghapus prefiks seperti و dan ال serta sufiks umum), yang merupakan langkah terpisah dari normalisasi. `ArabicAnalyzer` milik Lucene dan analyzer `arabic` milik Elasticsearch menerapkan keduanya: normalizer, lalu light stemmer.

## Apa yang perlu dinormalisasi, dan apa harga setiap aturan?

| Aturan | Contoh | Indeks pencarian | Risiko |
| --- | --- | --- | --- |
| Unicode NFKC | ﻻ → لا, ا + ٔ → أ | Ya, selalu pertama | Juga menulis ulang karakter kompatibilitas di aksara lain |
| Hapus tanda tak terlihat | zero-width joiner, RLM/LRM, BOM | Ya | Tidak ada untuk bahasa Arab; ZWNJ penting dalam bahasa Persia |
| Hapus tasykil | أَحْمَدُ → أحمد | Ya | Menggabungkan kata yang hanya dibedakan oleh vokal |
| Hapus tatwil (ـ) | الـــمدينة → المدينة | Ya | Tidak ada |
| Satukan alif | أ إ آ ٱ → ا | Ya | Menggabungkan beberapa pasangan: سأل (bertanya) dan سال (mengalir) |
| Alif maqsurah | ى → ي | Biasanya | Menggabungkan على (di atas) dan علي (Ali) |
| Ta marbutah | ة → ه | Biasanya | Menggabungkan كتابة (tulisan) dan كتابه (bukunya) |
| Dudukan hamzah | ؤ ئ → ء | Opsional | Menggabungkan مسؤول dan مسئول (bagus) tetapi juga beberapa kata yang berbeda |
| Huruf Persia | ی → ي, ک → ك | Ya, jika pengguna memakai keyboard Persia | Tidak ada untuk teks Arab |
| Digit | ٢٠٢٦ dan ۲۰۲۶ → 2026 | Ya | Tidak ada; simpan aslinya untuk tampilan |

Kolom pertama berlaku untuk kunci indeks dan kueri. Teks yang Anda simpan, tampilkan, dan kirim ke model tetap seperti aslinya.

## Mengapa normalisasi Unicode harus dilakukan pertama?

Huruf yang tampak sama bisa disimpan dengan cara berbeda. أ bisa berupa satu code point (U+0623) atau alif polos diikuti hamzah gabung (U+0627 U+0654). PDF lama dan sebagian keyboard menghasilkan presentation form Arab (U+FB50 hingga U+FEFF), seperti lam-alif satu karakter ﻻ. Dalam [normalisasi Unicode](https://unicode.org/reports/tr15/), NFC menyusun hamzah ke atas alif, dan NFKC juga membongkar presentation form dan ligatur. Di Python, `unicodedata.normalize("NFKC", "ﻻ")` mengembalikan لا, dan `ﷲ` menjadi الله.

Jalankan ini sebelum yang lain. Jika tidak, regex yang mengganti أ akan melewatkan bentuk yang terurai. Ada jebakan kedua: `dediac_ar` milik CAMeL Tools menghapus karakter di `AR_DIAC_CHARSET`\-nya (U+064B hingga U+0652 dan U+0670). Set itu tidak mencakup tanda hamzah dan madda gabung (U+0653 hingga U+0655), sehingga pada teks terurai tanda-tanda itu lolos dari penghapusan harakat. NFKC menyusunnya lebih dulu.

NFKC adalah pemetaan kompatibilitas. NFKC juga mengubah karakter di luar bahasa Arab, misalnya huruf Latin full-width. Untuk kunci pencarian, biasanya itulah yang Anda inginkan, dan satu alasan lagi untuk menyimpan teks asli di sampingnya.

## Apa yang sebaiknya tidak dinormalisasi?

-   **Teks yang Anda tampilkan, sitasi, atau kutip.** Teks Arab ternormalisasi tampak salah eja (المدينه). Simpan teks asli di samping kuncinya.
-   **Apa yang Anda kirim ke LLM.** Model membaca hamzah dan tasykil dengan baik, dan teks persis menjaga nama dan kutipan tetap benar. Menghapus tasykil menghemat sedikit token; cek berapa banyak dengan [penghitung token bahasa Arab](https://broadrouter.com/tools/arabic-token-counter/) sebelum Anda mengorbankan akurasi untuk itu.
-   **Teks di mana tanda membawa makna:** Al-Qur’an, hadis, puisi, buku anak-anak, tugas pelafalan dan pemberian harakat (lihat [menambahkan harakat dengan LLM](https://broadrouter.com/id/blog/arabic-diacritization-llm/)).
-   **Koreksi ejaan atau tata bahasa:** menormalisasi lebih dulu menghapus kesalahan hamzah dan ta marbutah yang ingin Anda perbaiki; lihat [koreksi tata bahasa dan ejaan Arab dengan LLM](https://broadrouter.com/id/blog/arabic-grammar-spelling-correction-llm/).
-   **Identifier.** Kode produk, email, URL, dan teks Latin tidak boleh melewati aturan bahasa Arab. Terapkan normalisasi hanya pada field beraksara Arab, atau hanya pada token Arab.
-   **Field yang dicari orang secara persis.** Untuk nama resmi atau field mirip ID, indeks juga salinan mentahnya, agar kecocokan persis tetap bisa berada di peringkat teratas.

## Apa beda CAMeL Tools, PyArabic, dan Lucene?

Ketiganya tidak menerapkan aturan yang sama, dan mencampurnya menghasilkan indeks dan kueri yang tidak pernah cocok. Kami membaca dokumentasi dan kode sumber setiap library, dan menjalankan PyArabic 0.6.15:

| Fungsi | Apa yang sebenarnya dilakukan |
| --- | --- |
| CAMeL `normalize_unicode` | NFKC (atau NFC dengan `compatibility=False`); juga menguraikan ﷼ menjadi ريال dan ﷽ menjadi frasa lengkapnya |
| CAMeL `normalize_alef_ar` | إ أ ٱ آ → ا |
| CAMeL `normalize_alef_maksura_ar` | ى → ي |
| CAMeL `normalize_teh_marbuta_ar` | ة → ه |
| CAMeL `dediac_ar` | Menghapus U+064B hingga U+0652 dan U+0670; membiarkan tatwil |
| PyArabic `strip_tashkeel` | Menghapus semua harakat termasuk syaddah |
| PyArabic `strip_tatweel` | Menghapus ـ |
| PyArabic `normalize_alef` | Setiap bentuk alif **dan ى** → ا, sehingga إلى menjadi الا |
| PyArabic `normalize_hamza` | Metode bawaannya memetakan setiap bentuk hamzah ke ء, termasuk أ, sehingga أحمد menjadi ءحمد |
| Lucene `ArabicNormalizer` | Bentuk hamzah-di-atas-alif → ا, ة → ه, ى → ي, menghapus harakat dan tatwil |

Baris PyArabic sering mengejutkan. Docstring `normalize_alef` menyebut alif maqsurah sebagai pengecualian, tetapi di 0.6.15 set `ALEFAT` mencakup ى, dan fungsi itu memetakannya ke ا. `normalize_hamza` dibuat untuk pencocokan yang mengabaikan hamzah, bukan untuk pencarian umum. Urutan juga penting: jalankan normalisasi alif lebih dulu, maka `normalize_hamza` hanya menyentuh ؤ, ئ, dan ء, sehingga مسؤول dan مسئول keduanya menjadi مسءول. Metode `tasheel`\-nya justru menghasilkan مسوول dan مسيول, yang tidak saling cocok.

Filter `arabic_normalization` milik Elasticsearch memakai normalizer Lucene, jadi pipeline Python yang ingin cocok dengan indeks Elasticsearch harus menyalin aturan Lucene persis. Artinya ى → ي, bukan ى → ا.

## Seperti apa normalizer yang sudah diuji?

Fungsi ini mengikuti pilihan Lucene, menambahkan penanganan Unicode, digit, dan huruf Persia, dan membuat aturan yang berisiko bisa dinyalakan atau dimatikan. Fungsi ini hanya memakai standard library.

```python
import re
import unicodedata

DIACRITICS = re.compile("[ً-ٰٟ]")  # tashkeel, extra marks, superscript alef
INVISIBLE = re.compile("[​-‏‪-‮⁦-⁩﻿]")  # zero-width, bidi
ALEF = re.compile("[آأإٱ]")    # آ أ إ ٱ -> ا
DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹", "0123456789" * 2)
FARSI = str.maketrans({"ی": "ي", "ک": "ك"})  # ی -> ي, ک -> ك

def normalize(text, *, alef=True, alef_maksura=True, ta_marbuta=True,
              hamza_seats=False, digits=True):
    text = unicodedata.normalize("NFKC", text)     # compose marks, unpack ligatures
    text = INVISIBLE.sub("", text)
    text = DIACRITICS.sub("", text).replace("ـ", "")   # tashkeel, tatweel
    text = text.translate(FARSI)
    if alef:
        text = ALEF.sub("ا", text)
    if alef_maksura:
        text = text.replace("ى", "ي")    # ى -> ي
    if ta_marbuta:
        text = text.replace("ة", "ه")    # ة -> ه
    if hamza_seats:
        text = re.sub("[ؤئ]", "ء", text)  # ؤ ئ -> ء
    if digits:
        text = text.translate(DIGITS)
    return text
```

Hasilnya pada string tes kami:

| Input | Output | Catatan |
| --- | --- | --- |
| أَحْمَدُ | احمد | Tasykil dan hamzah hilang |
| الـــمدينة | المدينه | Tatwil dan ta marbutah |
| إلى | الي | Alif dan alif maqsurah |
| ا + U+0654 + مل | امل | Hamzah terurai disusun, lalu disatukan |
| ﻻبد | لابد | Presentation form dibongkar |
| ٢٠٢٦ / ۱۴۰۵ | 2026 / 1405 | Digit Arab-Indic dan Persia |
| مسؤول / مسئول | Keduanya مسءول dengan `hamza_seats=True` | Tidak berubah secara bawaan |
| فارسی | فارسي | Ya Persia |

Pakai di dua tempat: saat Anda membangun kunci indeks dan saat Anda membaca kueri. Simpan `original` dan `normalize(original)` berdampingan, cari pada yang kedua dan kembalikan yang pertama. [Normalizer teks Arab](https://broadrouter.com/tools/arabic-text-normalizer/) gratis memungkinkan Anda menempel teks dan melihat efek setiap aturan sebelum memilih pengaturan.

## Bagaimana normalisasi cocok dengan embedding dan RAG?

Pipeline RAG biasanya punya dua retriever: pencarian kata kunci (BM25) dan [embedding](https://broadrouter.com/id/glossary/embeddings/). Normalisasi jelas membantu sisi kata kunci. Untuk sisi embedding, bukti di atas tidak berlaku: model embedding dilatih pada teks mentah, dan banyak yang sudah menempatkan احمد dan أحمد berdekatan. Menormalisasi sebelum embedding bisa membantu, tidak berpengaruh, atau merugikan. Buat 50 hingga 100 kueri nyata dengan jawaban yang diketahui, jalankan dengan input mentah dan ternormalisasi, dan pertahankan mana pun yang recall-nya lebih tinggi. Apa pun pilihan Anda, terapkan secara identik pada dokumen dan kueri.

Normalisasi juga sedikit menurunkan jumlah token, karena harakat dan tatwil adalah karakter tambahan bagi [tokenizer](https://broadrouter.com/id/glossary/tokenizer/). Rasio hasil pengukuran ada di [dataset efisiensi tokenizer](https://broadrouter.com/data/tokenizer-efficiency/) dan [token per kata dalam bahasa Arab](https://broadrouter.com/id/blog/tokens-per-word-arabic-english/). Normalisasi yang sama dipakai untuk menilai pengenalan ucapan secara adil; lihat [penjelasan WER bahasa Arab](https://broadrouter.com/id/blog/arabic-asr-wer-explained/).

Arabizi (bahasa Arab dalam huruf Latin) membutuhkan pendekatan yang sama sekali berbeda: [cara LLM menangani Arabizi](https://broadrouter.com/id/blog/arabizi-llm-handling/).

## Di mana posisi BroadNet Inference?

Normalisasi berjalan di kode Anda sendiri, jadi tidak perlu API untuk itu. BroadNet Inference masuk setelah retrieval. BroadNet tidak menjual embedding, jadi pasangkan retriever dan penyedia embedding pilihan Anda dengan model chat BroadNet untuk langkah menjawab. [GLM 5.3](https://broadrouter.com/id/models/glm-5.3/) dan DeepSeek V4.1 Flash menerima konteks 1.048.576 token, jadi Anda bisa mengirim banyak bagian hasil retrieval dalam bahasa Arab aslinya yang tidak dinormalisasi. Untuk memilih model berdasarkan kualitas bahasa Arab, lihat [memilih LLM untuk bahasa Arab](https://broadrouter.com/id/blog/choosing-an-llm-for-arabic/). Jika Anda hanya membutuhkan pencarian kata kunci, analyzer `arabic` bawaan Elasticsearch mungkin sudah cukup.

Alat gratis untuk topik ini (bahasa Inggris)

-   [Arabic token counter](https://broadrouter.com/tools/arabic-token-counter/) Arabic vs English token counts per tokenizer: the "Arabic tax" in tokens and money.
-   [Arabic text normalizer](https://broadrouter.com/tools/arabic-text-normalizer/) Tashkeel, tatweel, alef, ya, ta marbuta, digits and invisible characters, with a matching Python function.
-   [Speech-to-text cost calculator](https://broadrouter.com/tools/speech-to-text-cost-calculator/) Hours, calls or voice notes to a monthly transcription bill, against your current provider.

[Alat gratis (bahasa Inggris)](https://broadrouter.com/tools/)

## Istilah dalam artikel ini

[Embeddings (vektor embedding)](https://broadrouter.com/id/glossary/embeddings/)

Embeddings adalah daftar angka floating-point (vektor) yang dihasilkan model untuk merepresentasikan sepotong teks, gambar, atau input lain. Input dengan makna serupa mendapat vektor yang berdekatan, sehingga jarak antarvektor bisa dipakai untuk mengurutkan hasil pencarian, mengelompokkan dokumen, atau menemukan item terkait.

[Hamzah (hamza)](https://broadrouter.com/id/glossary/hamza/)

Hamzah (ء) adalah huruf Arab untuk hentian glotal. Hamzah ditulis sendiri atau di atas sebuah dudukan: alif (أ إ), wawu (ؤ), atau ya (ئ), sedangkan آ menggabungkan alif dengan madd. Karena teks ketikan tidak konsisten soal hamzah, mesin pencari dan penilaian ucapan sering melebur bentuk-bentuk alif menjadi ا.

[Normalisasi Unicode (Unicode normalization)](https://broadrouter.com/id/glossary/unicode-normalization/)

Normalisasi Unicode mengubah teks ke bentuk standar sehingga string yang terlihat sama memakai code point yang sama. Ada empat bentuk: NFD, NFC, NFKD, dan NFKC; bentuk K juga menyatukan karakter kompatibilitas, seperti presentation form dan ligatur Arab, menjadi huruf biasa.

[RAG (retrieval-augmented generation)](https://broadrouter.com/id/glossary/rag/)

RAG (retrieval-augmented generation) adalah pola di mana aplikasi lebih dulu mengambil bagian teks yang relevan dengan pertanyaan dari penyimpanan eksternal, seperti indeks pencarian atau indeks vektor, lalu menambahkannya ke prompt agar model bahasa bisa menjawab berdasarkan teks itu, bukan hanya dari ingatannya.

[Harakat bahasa Arab (tashkeel)](https://broadrouter.com/id/glossary/arabic-diacritics/)

Harakat bahasa Arab, atau tashkeel, adalah tanda kecil di atas atau di bawah huruf yang menunjukkan vokal pendek, konsonan ganda, dan ketiadaan vokal. Tanda ini opsional: sebagian besar teks Arab, termasuk berita, tidak memakainya, sehingga pembaca dan perangkat lunak menebak vokal dari konteks.

[Token](https://broadrouter.com/id/glossary/token/)

Token adalah satuan teks yang dibaca dan ditulis model bahasa: sebuah kata, bagian kata, tanda baca, atau urutan byte yang dihasilkan tokenizer model. API LLM menghitung, membatasi, dan biasanya menagih pemakaian dalam token.

[Tokenizer](https://broadrouter.com/id/glossary/tokenizer/)

Tokenizer adalah komponen yang mengubah teks menjadi urutan ID token berupa bilangan bulat yang dibaca model bahasa, dan mengubah ID yang dihasilkan kembali menjadi teks. Setiap model punya tokenizer sendiri, jadi teks yang sama bisa menghasilkan jumlah token berbeda di model yang berbeda.

[BM25](https://broadrouter.com/id/glossary/bm25/)

BM25 (Okapi BM25) adalah fungsi ranking untuk pencarian kata kunci yang menilai dokumen berdasarkan seberapa sering istilah kueri muncul di dalamnya, seberapa langka istilah itu di seluruh koleksi, dan panjang dokumennya. BM25 adalah similarity default di Lucene dan Elasticsearch.

## Pertanyaan umum

### Haruskah saya menghapus tasykil (harakat) sebelum mengindeks teks Arab?

Untuk pencarian, ya: sebagian besar kueri dan sebagian besar teks modern tidak berharakat, sehingga dokumen berharakat tidak akan cocok. Hapus harakat dari kunci indeks dan kueri, simpan teks asli untuk tampilan, dan pertahankan harakat untuk Al-Qur'an, puisi, atau tugas pelafalan di mana harakat membawa makna.

### Apakah ta marbutah (ة) perlu dinormalisasi menjadi ha (ه)?

Biasanya ya untuk pencarian, karena banyak orang mengetik ه di akhir kata. Namun ini menggabungkan beberapa pasangan, seperti كتابة (tulisan) dan كتابه (bukunya). Jika tabrakan itu penting di domain Anda, pertahankan ة dan uji kedua pengaturan.

### Apa yang dilakukan normalisasi bahasa Arab di Elasticsearch?

Token filter arabic\_normalization memakai ArabicNormalizer milik Lucene: bentuk hamzah-di-atas-alif menjadi alif polos, ta marbutah menjadi ha, alif maqsurah menjadi ya, serta penghapusan harakat dan tatwil. Analyzer arabic bawaan menambahkan stop word dan stemmer yang menghapus artikel, konjungsi, preposisi yang melekat, dan sufiks umum.

### Apakah normalisasi bahasa Arab membantu pencarian embedding?

Itu belum terbukti. Peningkatan yang terukur berasal dari retrieval kata kunci. Model embedding belajar dari teks mentah dan sering sudah menangani varian ejaan, jadi buat set kecil kueri nyata dan bandingkan recall dengan dan tanpa normalisasi sebelum Anda memutuskan.

### Haruskah saya menormalisasi teks Arab sebelum mengirimnya ke LLM?

Umumnya tidak. Kirim teks asli agar kutipan, nama, dan sitasi tetap persis. Menghapus tasykil menghemat sedikit token, tetapi lakukan hanya jika tugasnya tidak membutuhkan tanda-tanda itu.

## Baca juga

-   [RAG bahasa Arab: normalisasi, chunking, dan retrieval yang berhasil](https://broadrouter.com/id/blog/arabic-rag-search/)
-   [Token per kata bahasa Arab vs Inggris: mengapa bahasa Arab lebih mahal](https://broadrouter.com/id/blog/tokens-per-word-arabic-english/)
-   [Word error rate (WER) ASR bahasa Arab: penjelasan lengkap](https://broadrouter.com/id/blog/arabic-asr-wer-explained/)
-   [Arabizi dan LLM: menangani Franco-Arab dengan angka seperti 3 dan 7](https://broadrouter.com/id/blog/arabizi-llm-handling/)
-   [Memilih API LLM untuk bahasa Arab: apa yang perlu diuji](https://broadrouter.com/id/blog/choosing-an-llm-for-arabic/)
-   [Ekstraksi entitas bernama bahasa Arab dengan LLM: JSON, tanggal, cek](https://broadrouter.com/id/blog/arabic-named-entity-extraction-llm/)
-   [Menambahkan harakat ke teks Arab dengan LLM: prompt, cek, DER](https://broadrouter.com/id/blog/arabic-diacritization-llm/)
-   [Koreksi tata bahasa dan ejaan Arab dengan LLM: panduan praktis](https://broadrouter.com/id/blog/arabic-grammar-spelling-correction-llm/)
-   [Notulen rapat bahasa Arab dari rekaman: pipeline berbasis API](https://broadrouter.com/id/blog/arabic-meeting-minutes-from-recordings/)
-   [Perbandingan API OCR Arab: Google, Azure, Textract, Mistral, LLM](https://broadrouter.com/id/blog/arabic-ocr-api-comparison/)
-   [Panduan: Memakai OpenAI Python SDK dengan BroadNet Inference](https://broadrouter.com/id/guides/openai-python-sdk/)

Coba dengan beban kerja Anda yang sebenarnya. Akun baru mendapat kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM, dan Qwen3.8 memerlukan top up.

[Mulai](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-blog-arabic-text-normalization-search&utm_content=page-cta) ·

**Sumber**

-   [Larkey, Ballesteros, dan Connell, Improving Stemming for Arabic Information Retrieval: Light Stemming and Co-occurrence Analysis, SIGIR 2002 (dicek 2026-11-15)](https://ciir.cs.umass.edu/pubfiles/ir-249.pdf)
-   [Dokumentasi CAMeL Tools 1.6.0, camel\_tools.utils.normalize (dicek 2026-11-15)](https://camel-tools.readthedocs.io/en/latest/api/utils/normalize.html)
-   [Kode sumber CAMeL Tools, charsets.py: AR\_DIAC\_CHARSET yang dipakai dediac\_ar (dicek 2026-11-15)](https://github.com/CAMeL-Lab/camel_tools/blob/master/camel_tools/utils/charsets.py)
-   [PyArabic 0.6.15 di GitHub, modul araby (dicek 2026-11-15)](https://github.com/linuxscout/pyarabic)
-   [Dokumentasi Apache Lucene 9.12 ArabicNormalizer (dicek 2026-11-15)](https://lucene.apache.org/core/9_12_0/analysis/common/org/apache/lucene/analysis/ar/ArabicNormalizer.html)
-   [Token filter normalisasi Elasticsearch: arabic\_normalization (dicek 2026-11-15)](https://www.elastic.co/docs/reference/text-analysis/analysis-normalization-tokenfilter)
-   [Unicode Standard Annex #15, Unicode Normalization Forms (dicek 2026-11-15)](https://unicode.org/reports/tr15/)
-   [Bagan kode Unicode Arab, U+0600 hingga U+06FF (dicek 2026-11-15)](https://www.unicode.org/charts/PDF/U0600.pdf)
