---
title: "Penormalan teks Arab untuk carian dan RAG | BroadRouter"
description: "Tashkeel, alef, ta marbuta, hamzah, huruf Parsi, digit dan Unicode: peraturan penormalan Arab mana yang membantu carian, mana yang merosakkan, dan kod Python teruji."
url: https://broadrouter.com/ms/blog/arabic-text-normalization-search/
lang: ms
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan daripada bahasa Inggeris dengan bantuan AI. [Baca versi asal dalam bahasa Inggeris](https://broadrouter.com/blog/arabic-text-normalization-search/) (dikemas kini 2026-11-16).

# Penormalan teks Arab untuk carian dan RAG: apa diubah, apa tidak

Oleh pasukan BroadNet Inference · 7 minit bacaan · Diterbitkan 2026-11-15 · Dikemas kini 2026-11-16

Untuk indeks carian dan RAG, normalkan salinan tersimpan dan setiap pertanyaan dengan cara yang sama: Unicode NFKC, buang tashkeel dan tatweel, seragamkan bentuk alef, petakan ى kepada ي dan ة kepada ه, dan tukar digit. Simpan teks asal untuk paparan dan untuk LLM. Anggap tempat duduk hamzah dan ta marbuta sebagai boleh laras: ia meningkatkan dapatan semula tetapi menggabungkan sesetengah perkataan berbeza.

## Perkara utama

-   Normalkan kunci carian, jangan sekali-kali teks yang anda paparkan atau petik. Simpan teks asal di sebelahnya.
-   Dalam satu kajian klasik pada berita TREC-2001 bahasa Arab, penormalan sahaja meningkatkan purata kepersisan daripada .194 kepada .238, dan pengakaran ringan di atasnya mencapai .376.
-   Jalankan Unicode NFKC dahulu. Ia menggubah hamzah yang terurai, membuka bentuk persembahan dan ligatur, dan menjadikan peraturan seterusnya boleh dipercayai.
-   Pustaka tidak sependapat. normalize\_alef PyArabic memetakan ى kepada ا; CAMeL Tools memetakan ى kepada ي. Pilih satu set peraturan dan gunakannya di mana-mana.
-   Untuk carian embedding, uji input ternormal dan mentah pada pertanyaan anda sendiri. Peraturan penormalan diukur pada carian kata kunci.

**Dalam halaman ini**

1.  Adakah penormalan benar-benar membantu perolehan semula?
2.  Apakah yang patut anda normalkan, dan apakah harga setiap peraturan?
3.  Mengapakah penormalan Unicode perlu didahulukan?
4.  Apakah yang tidak patut anda normalkan?
5.  Bagaimanakah CAMeL Tools, PyArabic dan Lucene berbeza?
6.  Bagaimanakah rupa penormal yang telah diuji?
7.  Bagaimanakah penormalan sesuai dengan embedding dan RAG?
8.  Di manakah BroadNet Inference sesuai

Bahasa Arab membenarkan perkataan yang sama ditulis dalam beberapa cara. Pengguna menaip احمد; dokumen menulis أَحْمَد. Indeks carian yang membandingkan aksara secara tepat terlepas padanan itu, begitu juga separuh kata kunci dalam saluran RAG. Penormalan membetulkannya dengan memetakan varian kepada satu bentuk sebelum dibandingkan. Jika dilakukan secara cuai, ia juga menggabungkan perkataan yang berbeza makna. Artikel ini membincangkan setiap peraturan satu demi satu: apa yang dilakukannya, bila hendak menggunakannya, apa yang dirosakkannya, dan bagaimana pustaka utama berbeza. Ia berakhir dengan kod Python yang telah diuji.

Untuk saluran RAG bahasa Arab penuh (chunking, carian hibrid, jawapan berpetikan), lihat [RAG bahasa Arab yang berkesan](https://broadrouter.com/ms/blog/arabic-rag-search/). Artikel ini mendalami langkah penormalan.

## Adakah penormalan benar-benar membantu perolehan semula?

Ya, untuk carian kata kunci, dan buktinya lama tetapi jelas. Larkey, Ballesteros dan Connell (SIGIR 2002) menguji perolehan semula bahasa Arab pada koleksi berita TREC-2001. Sebelum pengakaran, mereka menormalkan korpus dan pertanyaan: membuang diakritik dan tanda baca, menyeragamkan bentuk alef, dan memetakan ى dan ة di hujung perkataan. Hasil ekabahasa mereka, dengan pertanyaan yang tidak diperluas:

| Pemprosesan | Purata kepersisan | Perubahan berbanding mentah (daripada angka yang dibundarkan) |
| --- | --- | --- |
| Teks mentah | .194 | — |
| Ternormal | .238 | +22.7% |
| Ternormal + pengakaran ringan (light8) | .376 | +93.8% |

Dua amaran. Ini perolehan semula kata kunci pada berita pada 2002, bukan carian embedding. Dan keuntungan terbesar datang daripada pengakaran ringan (membuang awalan seperti و dan ال serta akhiran biasa), yang merupakan langkah berasingan daripada penormalan. `ArabicAnalyzer` Lucene dan penganalisis `arabic` Elasticsearch menggunakan kedua-duanya: penormal, kemudian pengakar ringan.

## Apakah yang patut anda normalkan, dan apakah harga setiap peraturan?

| Peraturan | Contoh | Indeks carian | Risiko |
| --- | --- | --- | --- |
| Unicode NFKC | ﻻ → لا, ا + ٔ → أ | Ya, sentiasa dahulu | Turut menulis semula aksara keserasian dalam skrip lain |
| Buang tanda tidak kelihatan | penyambung lebar sifar, RLM/LRM, BOM | Ya | Tiada untuk bahasa Arab; ZWNJ penting dalam bahasa Parsi |
| Buang tashkeel | أَحْمَدُ → أحمد | Ya | Menggabungkan perkataan yang hanya dibezakan oleh vokal |
| Buang tatweel (ـ) | الـــمدينة → المدينة | Ya | Tiada |
| Seragamkan alef | أ إ آ ٱ → ا | Ya | Menggabungkan beberapa pasangan: سأل (bertanya) dan سال (mengalir) |
| Alef maksura | ى → ي | Biasanya | Menggabungkan على (di atas) dan علي (Ali) |
| Ta marbuta | ة → ه | Biasanya | Menggabungkan كتابة (penulisan) dan كتابه (bukunya) |
| Tempat duduk hamzah | ؤ ئ → ء | Pilihan | Menggabungkan مسؤول dan مسئول (baik) tetapi juga sesetengah perkataan berbeza |
| Huruf Parsi | ی → ي, ک → ك | Ya, jika pengguna ada papan kekunci Parsi | Tiada untuk teks Arab |
| Digit | ٢٠٢٦ dan ۲۰۲۶ → 2026 | Ya | Tiada; simpan yang asal untuk paparan |

Lajur pertama adalah untuk kunci indeks dan pertanyaan. Teks yang anda simpan, paparkan dan hantar kepada model kekal seperti yang ditulis.

## Mengapakah penormalan Unicode perlu didahulukan?

Huruf yang kelihatan sama boleh disimpan dengan cara berbeza. أ boleh jadi satu titik kod (U+0623) atau alef biasa diikuti hamzah gabungan (U+0627 U+0654). PDF lama dan sesetengah papan kekunci menghasilkan bentuk persembahan Arab (U+FB50 hingga U+FEFF), seperti lam-alef satu aksara ﻻ. Di bawah [penormalan Unicode](https://unicode.org/reports/tr15/), NFC menggubah hamzah ke atas alef, dan NFKC turut membuka bentuk persembahan dan ligatur. Dalam Python, `unicodedata.normalize("NFKC", "ﻻ")` memulangkan لا, dan `ﷲ` menjadi الله.

Jalankan ini sebelum apa-apa yang lain. Jika tidak, regex yang menggantikan أ terlepas bentuk yang terurai. Ada perangkap kedua: `dediac_ar` CAMeL Tools membuang aksara dalam `AR_DIAC_CHARSET`nya (U+064B hingga U+0652 dan U+0670). Set itu tidak termasuk tanda hamzah dan madda gabungan (U+0653 hingga U+0655), jadi pada teks terurai tanda-tanda itu terselamat daripada pembuangan diakritik. NFKC menggubahnya dahulu.

NFKC ialah pemetaan keserasian. Ia juga mengubah aksara di luar bahasa Arab, contohnya huruf Rumi lebar penuh. Itu biasanya yang anda mahu dalam kunci carian, dan satu lagi sebab untuk menyimpan teks asal di sebelahnya.

## Apakah yang tidak patut anda normalkan?

-   **Teks yang anda paparkan, rujuk atau petik.** Bahasa Arab ternormal kelihatan salah eja (المدينه). Simpan teks asal di sebelah kunci.
-   **Apa yang anda hantar kepada LLM.** Model membaca hamzah dan tashkeel dengan baik, dan teks tepat mengekalkan nama dan petikan dengan betul. Membuang tashkeel menjimatkan sedikit token; semak berapa banyak dengan [pengira token bahasa Arab](https://broadrouter.com/tools/arabic-token-counter/) sebelum anda menukar ketepatan dengannya.
-   **Teks yang tandanya membawa makna:** al-Quran, hadis, puisi, buku kanak-kanak, tugasan sebutan dan pemberian baris (lihat [menambah baris dengan LLM](https://broadrouter.com/ms/blog/arabic-diacritization-llm/)).
-   **Pembetulan ejaan atau tatabahasa:** menormalkan dahulu memadamkan ralat hamzah dan taa marbuta yang ingin anda betulkan; lihat [pembetulan tatabahasa dan ejaan bahasa Arab dengan LLM](https://broadrouter.com/ms/blog/arabic-grammar-spelling-correction-llm/).
-   **Pengecam.** Kod produk, e-mel, URL dan teks huruf Rumi tidak boleh melalui peraturan Arab. Gunakan penormalan pada medan berskrip Arab sahaja, atau pada token Arab sahaja.
-   **Medan yang dicari secara tepat.** Untuk nama sah atau medan seperti ID, indeks juga salinan mentah, supaya padanan tepat masih boleh berada di kedudukan teratas.

## Bagaimanakah CAMeL Tools, PyArabic dan Lucene berbeza?

Ia tidak melaksanakan peraturan yang sama, dan mencampurkannya menghasilkan indeks dan pertanyaan yang tidak pernah sepadan. Kami membaca dokumentasi dan kod sumber setiap pustaka, dan menjalankan PyArabic 0.6.15:

| Fungsi | Apa yang sebenarnya dilakukan |
| --- | --- |
| CAMeL `normalize_unicode` | NFKC (atau NFC dengan `compatibility=False`); juga mengembangkan ﷼ kepada ريال dan ﷽ kepada frasa penuhnya |
| CAMeL `normalize_alef_ar` | إ أ ٱ آ → ا |
| CAMeL `normalize_alef_maksura_ar` | ى → ي |
| CAMeL `normalize_teh_marbuta_ar` | ة → ه |
| CAMeL `dediac_ar` | Membuang U+064B hingga U+0652 dan U+0670; meninggalkan tatweel |
| PyArabic `strip_tashkeel` | Membuang semua harakat termasuk shadda |
| PyArabic `strip_tatweel` | Membuang ـ |
| PyArabic `normalize_alef` | Setiap bentuk alef **dan ى** → ا, jadi إلى menjadi الا |
| PyArabic `normalize_hamza` | Kaedah lalai memetakan setiap bentuk hamzah kepada ء, termasuk أ, jadi أحمد menjadi ءحمد |
| Lucene `ArabicNormalizer` | Bentuk hamzah-atas-alef → ا, ة → ه, ى → ي, membuang harakat dan tatweel |

Baris PyArabic mengejutkan ramai orang. Docstring `normalize_alef`nya menyatakan alef maksura ialah pengecualian, tetapi dalam 0.6.15 set `ALEFAT` termasuk ى, dan fungsi itu memetakannya kepada ا. `normalize_hamza`nya dibina untuk pemadanan tanpa mengira hamzah, bukan carian umum. Susunan juga penting: jalankan penormalan alef dahulu, dan `normalize_hamza` kemudian hanya menyentuh ؤ, ئ dan ء, jadi مسؤول dan مسئول kedua-duanya menjadi مسءول. Kaedah `tasheel`nya pula memberi مسوول dan مسيول, yang tidak sepadan antara satu sama lain.

Penapis `arabic_normalization` Elasticsearch menggunakan penormal Lucene, jadi saluran Python yang mahu sepadan dengan indeks Elasticsearch patut menyalin peraturan Lucene dengan tepat. Maksudnya ى → ي, bukan ى → ا.

## Bagaimanakah rupa penormal yang telah diuji?

Fungsi ini mengikut pilihan Lucene, menambah pengendalian Unicode, digit dan huruf Parsi, dan menjadikan peraturan berisiko boleh dihidup atau dimatikan. Ia hanya menggunakan pustaka piawai.

```python
import re
import unicodedata

DIACRITICS = re.compile("[ً-ٰٟ]")  # tashkeel, extra marks, superscript alef
INVISIBLE = re.compile("[​-‏‪-‮⁦-⁩﻿]")  # zero-width, bidi
ALEF = re.compile("[آأإٱ]")    # آ أ إ ٱ -> ا
DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹", "0123456789" * 2)
FARSI = str.maketrans({"ی": "ي", "ک": "ك"})  # ی -> ي, ک -> ك

def normalize(text, *, alef=True, alef_maksura=True, ta_marbuta=True,
              hamza_seats=False, digits=True):
    text = unicodedata.normalize("NFKC", text)     # compose marks, unpack ligatures
    text = INVISIBLE.sub("", text)
    text = DIACRITICS.sub("", text).replace("ـ", "")   # tashkeel, tatweel
    text = text.translate(FARSI)
    if alef:
        text = ALEF.sub("ا", text)
    if alef_maksura:
        text = text.replace("ى", "ي")    # ى -> ي
    if ta_marbuta:
        text = text.replace("ة", "ه")    # ة -> ه
    if hamza_seats:
        text = re.sub("[ؤئ]", "ء", text)  # ؤ ئ -> ء
    if digits:
        text = text.translate(DIGITS)
    return text
```

Apa yang dipulangkannya pada rentetan ujian kami:

| Input | Output | Nota |
| --- | --- | --- |
| أَحْمَدُ | احمد | Tashkeel dan hamzah hilang |
| الـــمدينة | المدينه | Tatweel dan ta marbuta |
| إلى | الي | Alef dan alef maksura |
| ا + U+0654 + مل | امل | Hamzah terurai digubah, kemudian diseragamkan |
| ﻻبد | لابد | Bentuk persembahan dibuka |
| ٢٠٢٦ / ۱۴۰۵ | 2026 / 1405 | Digit Arab-India dan Parsi |
| مسؤول / مسئول | Kedua-duanya مسءول dengan `hamza_seats=True` | Tidak berubah secara lalai |
| فارسی | فارسي | Ya Parsi |

Gunakannya di dua tempat: semasa anda membina kunci indeks dan semasa anda membaca pertanyaan. Simpan `original` dan `normalize(original)` bersebelahan, cari pada yang kedua dan pulangkan yang pertama. [Penormal teks Arab](https://broadrouter.com/tools/arabic-text-normalizer/) percuma membolehkan anda menampal teks dan melihat kesan setiap peraturan sebelum memilih tetapan anda.

## Bagaimanakah penormalan sesuai dengan embedding dan RAG?

Saluran RAG biasanya mempunyai dua pemerolehan semula: carian kata kunci (BM25) dan [embedding](https://broadrouter.com/ms/glossary/embeddings/). Penormalan jelas membantu bahagian kata kunci. Untuk bahagian embedding, bukti di atas tidak terpakai: model embedding dilatih pada teks mentah, dan banyak yang sudah meletakkan احمد dan أحمد berdekatan. Menormalkan sebelum embedding boleh membantu, tiada kesan, atau merosakkan. Bina 50 hingga 100 pertanyaan sebenar dengan jawapan yang diketahui, jalankannya dengan input mentah dan ternormal, dan kekalkan yang mana mendapat dapatan semula lebih tinggi. Apa jua pilihan anda, gunakannya dengan cara yang sama pada dokumen dan pertanyaan.

Penormalan juga sedikit mengurangkan kiraan token, kerana diakritik dan tatweel ialah aksara tambahan bagi [tokenizer](https://broadrouter.com/ms/glossary/tokenizer/). Nisbah yang diukur terdapat dalam [set data kecekapan tokenizer](https://broadrouter.com/data/tokenizer-efficiency/) dan [token setiap perkataan dalam bahasa Arab](https://broadrouter.com/ms/blog/tokens-per-word-arabic-english/). Penormalan yang sama digunakan untuk memarkahkan pengecaman pertuturan secara adil; lihat [WER bahasa Arab diterangkan](https://broadrouter.com/ms/blog/arabic-asr-wer-explained/).

Arabizi (bahasa Arab dalam huruf Rumi) memerlukan pendekatan yang berbeza sama sekali: [cara LLM mengendalikan Arabizi](https://broadrouter.com/ms/blog/arabizi-llm-handling/).

## Di manakah BroadNet Inference sesuai

Penormalan berjalan dalam kod anda sendiri, jadi tiada API diperlukan untuknya. BroadNet Inference masuk selepas perolehan semula. Ia tidak menjual embedding, jadi gandingkan pemerolehan semula dan penyedia embedding pilihan anda dengan model chat BroadNet untuk langkah menjawab. [GLM 5.3](https://broadrouter.com/ms/models/glm-5.3/) dan DeepSeek V4.1 Flash menerima 1,048,576 token konteks, jadi anda boleh menghantar banyak petikan yang diperoleh dalam bahasa Arab asal yang tidak dinormalkan. Untuk memilih model berdasarkan kualiti bahasa Arab, lihat [memilih LLM untuk bahasa Arab](https://broadrouter.com/ms/blog/choosing-an-llm-for-arabic/). Jika anda hanya memerlukan carian kata kunci, penganalisis `arabic` terbina dalam Elasticsearch mungkin sudah memadai.

Alat percuma untuk topik ini (Bahasa Inggeris)

-   [Arabic token counter](https://broadrouter.com/tools/arabic-token-counter/) Arabic vs English token counts per tokenizer: the "Arabic tax" in tokens and money.
-   [Arabic text normalizer](https://broadrouter.com/tools/arabic-text-normalizer/) Tashkeel, tatweel, alef, ya, ta marbuta, digits and invisible characters, with a matching Python function.
-   [Speech-to-text cost calculator](https://broadrouter.com/tools/speech-to-text-cost-calculator/) Hours, calls or voice notes to a monthly transcription bill, against your current provider.

[Alatan percuma (Bahasa Inggeris)](https://broadrouter.com/tools/)

## Istilah dalam artikel ini

[Hamzah (hamza)](https://broadrouter.com/ms/glossary/hamza/)

Hamzah (ء) ialah huruf bahasa Arab bagi hentian glotis. Ia ditulis sendirian atau di atas kerusi: alif (أ إ), wau (ؤ) atau ya (ئ), manakala آ menggabungkan alif dengan madd. Oleh sebab teks yang ditaip tidak konsisten, enjin carian dan pemarkahan pertuturan sering menyatukan bentuk alif kepada ا.

[Baris Arab (tashkeel, Arabic diacritics)](https://broadrouter.com/ms/glossary/arabic-diacritics/)

Baris Arab, atau tashkeel, ialah tanda kecil yang ditulis di atas atau di bawah huruf untuk menunjukkan vokal pendek, konsonan berganda dan ketiadaan vokal. Ia pilihan: kebanyakan teks Arab, termasuk berita, meninggalkannya, jadi pembaca dan perisian meneka vokal daripada konteks.

[Penormalan Unicode (Unicode normalization)](https://broadrouter.com/ms/glossary/unicode-normalization/)

Penormalan Unicode menukar teks kepada bentuk piawai supaya rentetan yang kelihatan sama menggunakan code point yang sama. Empat bentuknya ialah NFD, NFC, NFKD dan NFKC; bentuk K juga menggabungkan aksara keserasian, seperti bentuk persembahan Arab dan ligatur, kepada huruf biasa.

[Token](https://broadrouter.com/ms/glossary/token/)

Token ialah unit teks yang dibaca dan ditulis oleh model bahasa: satu perkataan, sebahagian perkataan, tanda baca atau jujukan bait yang dihasilkan oleh tokenizer model itu. API LLM mengira, mengehadkan dan biasanya mengebil penggunaan dalam token.

[Penormalan teks Arab (Arabic text normalization)](https://broadrouter.com/ms/glossary/arabic-text-normalization/)

Penormalan teks Arab ialah langkah yang memetakan varian ejaan bagi perkataan yang sama kepada satu bentuk sebelum padanan: membuang baris dan tatweel, menyatukan bentuk alif, dan selalunya memetakan ى kepada ي dan ة kepada ه. Ia digunakan pada kunci carian dan penilaian, bukan pada teks yang anda paparkan.

[BM25](https://broadrouter.com/ms/glossary/bm25/)

BM25 (Okapi BM25) ialah fungsi kedudukan untuk carian kata kunci yang memberi skor kepada dokumen berdasarkan kekerapan istilah pertanyaan muncul di dalamnya, sejauh mana istilah itu jarang dalam keseluruhan koleksi, dan panjang dokumen. Ia ialah similarity lalai dalam Lucene dan Elasticsearch.

[Tool calling (panggilan alatan)](https://broadrouter.com/ms/glossary/tool-calling/)

Tool calling, juga dipanggil function calling, ialah ciri API LLM di mana model memulangkan permintaan berstruktur untuk menjalankan fungsi yang ditakrifkan oleh pembangun, bersama argumen JSON. Aplikasi menjalankan fungsi itu dan menghantar hasilnya kembali; model sendiri tidak pernah menjalankan kod.

[Embedding (vektor teks)](https://broadrouter.com/ms/glossary/embeddings/)

Embedding ialah senarai nombor titik terapung (vektor) yang dihasilkan oleh model untuk mewakili sekeping teks, imej atau input lain. Input yang maknanya serupa mendapat vektor yang berdekatan, jadi jarak antara vektor boleh digunakan untuk menyusun hasil carian, mengelompokkan dokumen atau mencari item berkaitan.

## Soalan lazim

### Patutkah saya membuang tashkeel (baris) sebelum mengindeks teks Arab?

Untuk carian, ya: kebanyakan pertanyaan dan kebanyakan teks moden tiada baris, jadi dokumen berbaris tidak akan sepadan jika tidak dibuang. Buang daripada kunci indeks dan pertanyaan, simpan teks asal untuk paparan, dan kekalkannya untuk al-Quran, puisi atau tugasan sebutan di mana ia membawa makna.

### Patutkah ta marbuta (ة) dinormalkan kepada ha (ه)?

Biasanya ya untuk carian, kerana ramai orang menaip ه di hujung perkataan. Ia memang menggabungkan sesetengah pasangan, seperti كتابة (penulisan) dan كتابه (bukunya). Jika pertembungan itu penting dalam domain anda, kekalkan ة dan uji kedua-dua tetapan.

### Apakah yang dilakukan oleh penormalan bahasa Arab dalam Elasticsearch?

Penapis token arabic\_normalization menggunakan ArabicNormalizer Lucene: bentuk hamzah-atas-alef kepada alef biasa, ta marbuta kepada ha, alef maksura kepada ya, dan membuang harakat serta tatweel. Penganalisis arabic terbina dalam menambah kata henti dan pengakar yang membuang kata sandang, kata hubung, kata sendi dan akhiran biasa yang bercantum.

### Adakah penormalan bahasa Arab membantu carian embedding?

Ia belum terbukti. Keuntungan yang diukur datang daripada perolehan semula kata kunci. Model embedding belajar daripada teks mentah dan selalunya sudah mengendalikan varian ejaan, jadi bina set kecil pertanyaan sebenar dan bandingkan dapatan semula dengan dan tanpa penormalan sebelum anda membuat keputusan.

### Patutkah saya menormalkan teks Arab sebelum menghantarnya kepada LLM?

Secara amnya tidak. Hantar teks asal supaya petikan, nama dan rujukan kekal tepat. Membuang tashkeel menjimatkan sedikit token, tetapi lakukannya hanya apabila tugasan tidak memerlukan tanda-tanda itu.

## Teruskan membaca

-   [RAG bahasa Arab: penormalan, chunking dan carian yang berkesan](https://broadrouter.com/ms/blog/arabic-rag-search/)
-   [Token setiap perkataan Arab vs Inggeris: mengapa Arab lebih mahal](https://broadrouter.com/ms/blog/tokens-per-word-arabic-english/)
-   [Kadar ralat perkataan (WER) ASR bahasa Arab: penjelasan](https://broadrouter.com/ms/blog/arabic-asr-wer-explained/)
-   [Arabizi dan LLM: mengendalikan Franco-Arab dengan nombor 3 dan 7](https://broadrouter.com/ms/blog/arabizi-llm-handling/)
-   [Memilih API LLM untuk bahasa Arab: apa yang perlu diuji](https://broadrouter.com/ms/blog/choosing-an-llm-for-arabic/)
-   [Pengekstrakan entiti bernama bahasa Arab dengan LLM: JSON dan tarikh](https://broadrouter.com/ms/blog/arabic-named-entity-extraction-llm/)
-   [Tambah baris pada teks Arab dengan LLM: prompt, semakan dan DER](https://broadrouter.com/ms/blog/arabic-diacritization-llm/)
-   [Pembetulan tatabahasa dan ejaan bahasa Arab dengan LLM: panduan](https://broadrouter.com/ms/blog/arabic-grammar-spelling-correction-llm/)
-   [Minit mesyuarat bahasa Arab daripada rakaman: saluran API](https://broadrouter.com/ms/blog/arabic-meeting-minutes-from-recordings/)
-   [Perbandingan API OCR Arab: Google, Azure, Textract, Mistral, LLM](https://broadrouter.com/ms/blog/arabic-ocr-api-comparison/)
-   [Panduan: Cara guna OpenAI Python SDK dengan BroadNet Inference](https://broadrouter.com/ms/guides/openai-python-sdk/)

Cuba dengan beban kerja sebenar anda. Akaun baharu bermula dengan kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM dan Qwen3.8 memerlukan tambah nilai.

[Mulakan](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-blog-arabic-text-normalization-search&utm_content=page-cta) ·

**Sumber**

-   [Larkey, Ballesteros dan Connell, Improving Stemming for Arabic Information Retrieval: Light Stemming and Co-occurrence Analysis, SIGIR 2002 (disemak 2026-11-15)](https://ciir.cs.umass.edu/pubfiles/ir-249.pdf)
-   [Dokumentasi CAMeL Tools 1.6.0, camel\_tools.utils.normalize (disemak 2026-11-15)](https://camel-tools.readthedocs.io/en/latest/api/utils/normalize.html)
-   [Sumber CAMeL Tools, charsets.py: AR\_DIAC\_CHARSET yang digunakan oleh dediac\_ar (disemak 2026-11-15)](https://github.com/CAMeL-Lab/camel_tools/blob/master/camel_tools/utils/charsets.py)
-   [PyArabic 0.6.15 di GitHub, modul araby (disemak 2026-11-15)](https://github.com/linuxscout/pyarabic)
-   [Dokumentasi ArabicNormalizer Apache Lucene 9.12 (disemak 2026-11-15)](https://lucene.apache.org/core/9_12_0/analysis/common/org/apache/lucene/analysis/ar/ArabicNormalizer.html)
-   [Penapis token penormalan Elasticsearch: arabic\_normalization (disemak 2026-11-15)](https://www.elastic.co/docs/reference/text-analysis/analysis-normalization-tokenfilter)
-   [Unicode Standard Annex #15, Unicode Normalization Forms (disemak 2026-11-15)](https://unicode.org/reports/tr15/)
-   [Carta kod Arab Unicode, U+0600 hingga U+06FF (disemak 2026-11-15)](https://www.unicode.org/charts/PDF/U0600.pdf)
