---
title: "Arabic text normalization para sa search at RAG | BroadRouter"
description: "Tashkeel, alef, ta marbuta, hamza, Persian na letra, digit at Unicode: aling Arabic normalization rule ang tumutulong o nakakasama sa search, at tested na Python."
url: https://broadrouter.com/fil/blog/arabic-text-normalization-search/
lang: fil
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Isinalin mula sa Ingles sa tulong ng AI. [Basahin ang orihinal sa Ingles](https://broadrouter.com/blog/arabic-text-normalization-search/) (na-update noong 2026-11-16).

# Arabic text normalization para sa search at RAG: ano ang babaguhin

Ng BroadNet Inference team · 7 minutong basa · Nailathala 2026-11-15 · Na-update 2026-11-16

Para sa search at RAG index, i-normalize sa parehong paraan ang naka-store na kopya at bawat query: Unicode NFKC, tanggalin ang tashkeel at tatweel, pag-isahin ang mga anyo ng alef, gawing ي ang ى at ه ang ة, at i-convert ang mga digit. Itago ang orihinal na text para sa display at para sa LLM. Ituring na tunable ang hamza seat at ta marbuta: tumataas ang recall pero napagsasama ang ilang magkaibang salita.

## Mga pangunahing punto

-   I-normalize ang search key, hindi kailanman ang text na ipinapakita o sinisipi mo. Itago ang orihinal sa tabi nito.
-   Sa isang klasikong pag-aaral sa TREC-2001 Arabic newswire, itinaas ng normalization lang ang average precision mula .194 papuntang .238, at umabot sa .376 kapag dinagdagan ng light stemming.
-   Patakbuhin muna ang Unicode NFKC. Pinagsasama nito ang decomposed na hamza, binubuksan ang mga presentation form at ligature, at ginagawang maaasahan ang mga susunod na patakaran.
-   Hindi nagkakasundo ang mga library. Ginagawang ا ng normalize\_alef ng PyArabic ang ى; ginagawang ي ito ng CAMeL Tools. Pumili ng isang rule set at gamitin ito kahit saan.
-   Para sa embedding search, i-test ang normalized at raw na input sa sarili mong mga query. Sa keyword search sinukat ang mga normalization rule.

**Sa page na ito**

1.  Talaga bang nakakatulong ang normalization sa retrieval?
2.  Ano ang dapat i-normalize, at ano ang kapalit ng bawat patakaran?
3.  Bakit dapat mauna ang Unicode normalization?
4.  Ano ang hindi dapat i-normalize?
5.  Paano nagkakaiba ang CAMeL Tools, PyArabic at Lucene?
6.  Ano ang itsura ng isang tested na normalizer?
7.  Paano pumapasok ang normalization sa embeddings at RAG?
8.  Saan pumapasok ang BroadNet Inference

Puwedeng isulat sa ilang paraan ang iisang salita sa Arabic. احمد ang tina-type ng user; أَحْمَد ang nakasulat sa dokumento. Hindi iyon magtutugma sa search index na eksaktong character ang ikinukumpara, at ganoon din sa keyword na bahagi ng isang RAG pipeline. Inaayos ito ng normalization sa pamamagitan ng paggawa ng mga variant na iisang anyo bago ikumpara. Kapag ginawa nang pabaya, pinagsasama rin nito ang mga salitang magkaiba ang kahulugan. Isa-isang tinatalakay ng post na ito ang bawat patakaran: ano ang ginagawa nito, kailan ilalapat, ano ang sinisira nito, at paano nagkakaiba ang mga pangunahing library. Nagtatapos ito sa tested na Python.

Para sa buong Arabic RAG pipeline (chunking, hybrid search, sagot na may citation), tingnan ang [Arabic RAG na gumagana](https://broadrouter.com/fil/blog/arabic-rag-search/). Mas pinalalalim ng post na ito ang hakbang ng normalization.

## Talaga bang nakakatulong ang normalization sa retrieval?

Oo, para sa keyword search, at luma pero malinaw ang ebidensya. Tinest nina Larkey, Ballesteros at Connell (SIGIR 2002) ang Arabic retrieval sa TREC-2001 newswire collection. Bago ang stemming, ni-normalize nila ang corpus at mga query: tinanggal ang diacritics at bantas, pinag-isa ang mga anyo ng alef, at minapa ang ى at ة sa dulo ng salita. Ang mga monolingual na resulta nila, gamit ang mga hindi pinalawak na query:

| Processing | Average precision | Pagbabago kumpara sa raw (mula sa mga ni-round na figure) |
| --- | --- | --- |
| Raw na text | .194 | — |
| Normalized | .238 | +22.7% |
| Normalized + light stemming (light8) | .376 | +93.8% |

Dalawang paalala. Keyword retrieval ito sa balita noong 2002, hindi embedding search. At galing sa light stemming (pagtanggal ng mga prefix gaya ng و at ال at karaniwang suffix) ang pinakamalaking pakinabang, na hiwalay na hakbang sa normalization. Ginagawa ng `ArabicAnalyzer` ng Lucene at ng `arabic` analyzer ng Elasticsearch ang dalawa: isang normalizer, saka isang light stemmer.

## Ano ang dapat i-normalize, at ano ang kapalit ng bawat patakaran?

| Patakaran | Halimbawa | Search index | Panganib |
| --- | --- | --- | --- |
| Unicode NFKC | ﻻ → لا, ا + ٔ → أ | Oo, laging una | Binabago rin ang mga compatibility character sa ibang script |
| Tanggalin ang mga hindi nakikitang marka | zero-width joiner, RLM/LRM, BOM | Oo | Wala para sa Arabic; mahalaga ang ZWNJ sa Persian |
| Tanggalin ang tashkeel | أَحْمَدُ → أحمد | Oo | Pinagsasama ang mga salitang patinig lang ang pinagkaiba |
| Tanggalin ang tatweel (ـ) | الـــمدينة → المدينة | Oo | Wala |
| Pag-isahin ang alef | أ إ آ ٱ → ا | Oo | Pinagsasama ang ilang pares: سأل (nagtanong) at سال (umagos) |
| Alef maksura | ى → ي | Kadalasan | Pinagsasama ang على (sa ibabaw) at علي (Ali) |
| Ta marbuta | ة → ه | Kadalasan | Pinagsasama ang كتابة (pagsulat) at كتابه (ang aklat niya) |
| Hamza seat | ؤ ئ → ء | Opsyonal | Pinagsasama ang مسؤول at مسئول (mabuti) pero pati ang ilang magkaibang salita |
| Persian na letra | ی → ي, ک → ك | Oo, kung may Persian keyboard ang mga user | Wala para sa Arabic text |
| Digit | ٢٠٢٦ at ۲۰۲۶ → 2026 | Oo | Wala; itago ang orihinal para sa display |

Para sa index key at query ang unang column. Nananatiling gaya ng pagkakasulat ang text na ini-store, ipinapakita at ipinapasa mo sa model.

## Bakit dapat mauna ang Unicode normalization?

Puwedeng i-store sa iba’t ibang paraan ang iisang nakikitang letra. Puwedeng isang code point ang أ (U+0623) o bare na alef na sinusundan ng combining hamza (U+0627 U+0654). Gumagawa ang mga lumang PDF at ilang keyboard ng Arabic presentation form (U+FB50 hanggang U+FEFF), gaya ng isang-character na lam-alef na ﻻ. Sa ilalim ng [Unicode normalization](https://unicode.org/reports/tr15/), pinagsasama ng NFC ang hamza sa alef, at binubuksan din ng NFKC ang mga presentation form at ligature. Sa Python, ibinabalik ng `unicodedata.normalize("NFKC", "ﻻ")` ang لا, at nagiging الله ang `ﷲ`.

Patakbuhin ito bago ang anupaman. Kung hindi, hindi makikita ng regex na pumapalit sa أ ang decomposed na anyo. May ikalawang bitag: tinatanggal ng `dediac_ar` ng CAMeL Tools ang mga character sa `AR_DIAC_CHARSET` nito (U+064B hanggang U+0652 at U+0670). Hindi kasama sa set na iyon ang combining hamza at madda (U+0653 hanggang U+0655), kaya sa decomposed na text ay nakakaligtas sila sa dediacritization. Pinagsasama muna sila ng NFKC.

Compatibility mapping ang NFKC. Binabago rin nito ang mga character sa labas ng Arabic, halimbawa ang mga full-width na Latin na letra. Kadalasang iyon ang gusto mo sa search key, at isa pang dahilan para itago ang orihinal sa tabi nito.

## Ano ang hindi dapat i-normalize?

-   **Ang text na ipinapakita, sinisipi o kino-quote mo.** Mukhang mali ang spelling ng normalized na Arabic (المدينه). I-store ang orihinal sa tabi ng key.
-   **Ang ipinapadala mo sa LLM.** Nababasa nang maayos ng mga model ang hamza at tashkeel, at pinananatiling tama ng eksaktong text ang mga pangalan at sipi. Nakakatipid ng kaunting token ang pagtanggal ng tashkeel; i-check kung ilan gamit ang [Arabic token counter](https://broadrouter.com/tools/arabic-token-counter/) bago ipagpalit ang katumpakan dito.
-   **Text na may kahulugan ang mga marka:** Quran, hadith, tula, aklat pambata, pagbigkas at diacritization task (tingnan ang [paglalagay ng diacritics gamit ang LLM](https://broadrouter.com/fil/blog/arabic-diacritization-llm/)).
-   **Spelling o grammar correction:** binubura ng pag-normalize muna ang mga hamza at taa marbuta error na gusto mong ayusin; tingnan ang [Arabic grammar at spelling correction gamit ang LLM](https://broadrouter.com/fil/blog/arabic-grammar-spelling-correction-llm/).
-   **Mga identifier.** Hindi dapat dumaan sa Arabic na patakaran ang product code, email, URL at Latin na text. Ilapat ang normalization sa mga field na Arabic script lang, o sa mga Arabic na token lang.
-   **Mga field na eksaktong hinahanap ng tao.** Para sa mga legal na pangalan o field na parang ID, mag-index din ng raw na kopya, para mauna pa rin sa ranking ang eksaktong match.

## Paano nagkakaiba ang CAMeL Tools, PyArabic at Lucene?

Hindi magkakapareho ang mga patakarang ipinapatupad nila, at kapag pinaghalo, magkakaroon ka ng index at mga query na hindi kailanman magtutugma. Binasa namin ang dokumentasyon at source ng bawat library, at pinatakbo ang PyArabic 0.6.15:

| Function | Ano talaga ang ginagawa |
| --- | --- |
| CAMeL `normalize_unicode` | NFKC (o NFC kapag `compatibility=False`); pinalalawak din ang ﷼ bilang ريال at ang ﷽ sa buong parirala nito |
| CAMeL `normalize_alef_ar` | إ أ ٱ آ → ا |
| CAMeL `normalize_alef_maksura_ar` | ى → ي |
| CAMeL `normalize_teh_marbuta_ar` | ة → ه |
| CAMeL `dediac_ar` | Tinatanggal ang U+064B hanggang U+0652 at U+0670; iniiwan ang tatweel |
| PyArabic `strip_tashkeel` | Tinatanggal ang lahat ng harakat kasama ang shadda |
| PyArabic `strip_tatweel` | Tinatanggal ang ـ |
| PyArabic `normalize_alef` | Bawat anyo ng alef **at ang ى** → ا, kaya nagiging الا ang إلى |
| PyArabic `normalize_hamza` | Ginagawang ء ng default na method ang bawat anyo ng hamza, kasama ang أ, kaya nagiging ءحمد ang أحمد |
| Lucene `ArabicNormalizer` | Mga hamza-on-alef na anyo → ا, ة → ه, ى → ي, tinatanggal ang harakat at tatweel |

Ikinagugulat ng mga tao ang mga row ng PyArabic. Sinasabi ng docstring ng `normalize_alef` nito na exception ang alef maksura, pero sa 0.6.15 ay kasama ang ى sa `ALEFAT` set, at ginagawa itong ا ng function. Ginawa ang `normalize_hamza` nito para sa hamza-agnostic na matching, hindi para sa pangkalahatang search. Mahalaga rin ang pagkakasunod: patakbuhin muna ang alef normalization, at ؤ, ئ at ء na lang ang gagalawin ng `normalize_hamza`, kaya parehong nagiging مسءول ang مسؤول at مسئول. Ang `tasheel` method nito naman ay nagbibigay ng مسوول at مسيول, na hindi magkatugma.

Ginagamit ng `arabic_normalization` filter ng Elasticsearch ang Lucene normalizer, kaya ang Python pipeline na gustong tumugma sa isang Elasticsearch index ay dapat kopyahin nang eksakto ang mga patakaran ng Lucene. Ibig sabihin, ى → ي, hindi ى → ا.

## Ano ang itsura ng isang tested na normalizer?

Sinusunod ng function na ito ang mga pagpili ng Lucene, nagdadagdag ng paghawak sa Unicode, digit at Persian na letra, at ginagawang switchable ang mga mapanganib na patakaran. Standard library lang ang ginagamit nito.

```python
import re
import unicodedata

DIACRITICS = re.compile("[ً-ٰٟ]")  # tashkeel, extra marks, superscript alef
INVISIBLE = re.compile("[​-‏‪-‮⁦-⁩﻿]")  # zero-width, bidi
ALEF = re.compile("[آأإٱ]")    # آ أ إ ٱ -> ا
DIGITS = str.maketrans("٠١٢٣٤٥٦٧٨٩۰۱۲۳۴۵۶۷۸۹", "0123456789" * 2)
FARSI = str.maketrans({"ی": "ي", "ک": "ك"})  # ی -> ي, ک -> ك

def normalize(text, *, alef=True, alef_maksura=True, ta_marbuta=True,
              hamza_seats=False, digits=True):
    text = unicodedata.normalize("NFKC", text)     # compose marks, unpack ligatures
    text = INVISIBLE.sub("", text)
    text = DIACRITICS.sub("", text).replace("ـ", "")   # tashkeel, tatweel
    text = text.translate(FARSI)
    if alef:
        text = ALEF.sub("ا", text)
    if alef_maksura:
        text = text.replace("ى", "ي")    # ى -> ي
    if ta_marbuta:
        text = text.replace("ة", "ه")    # ة -> ه
    if hamza_seats:
        text = re.sub("[ؤئ]", "ء", text)  # ؤ ئ -> ء
    if digits:
        text = text.translate(DIGITS)
    return text
```

Ang ibinalik nito sa mga test string namin:

| Input | Output | Tala |
| --- | --- | --- |
| أَحْمَدُ | احمد | Wala na ang tashkeel at hamza |
| الـــمدينة | المدينه | Tatweel at ta marbuta |
| إلى | الي | Alef at alef maksura |
| ا + U+0654 + مل | امل | Pinagsama ang decomposed na hamza, saka pinag-isa |
| ﻻبد | لابد | Binuksan ang presentation form |
| ٢٠٢٦ / ۱۴۰۵ | 2026 / 1405 | Arabic-Indic at Persian na digit |
| مسؤول / مسئول | Parehong مسءول kapag `hamza_seats=True` | Walang pagbabago bilang default |
| فارسی | فارسي | Persian na ya |

Gamitin ito sa dalawang lugar: kapag binubuo mo ang index key at kapag binabasa mo ang isang query. I-store nang magkatabi ang `original` at `normalize(original)`, mag-search sa ikalawa at ibalik ang una. Hinahayaan ka ng libreng [Arabic text normalizer](https://broadrouter.com/tools/arabic-text-normalizer/) na mag-paste ng text at makita ang epekto ng bawat patakaran bago pumili ng mga setting mo.

## Paano pumapasok ang normalization sa embeddings at RAG?

Karaniwang may dalawang retriever ang isang RAG pipeline: keyword search (BM25) at [embeddings](https://broadrouter.com/fil/glossary/embeddings/). Malinaw na nakakatulong ang normalization sa keyword na bahagi. Sa embedding na bahagi, hindi umiiral ang ebidensya sa itaas: sinanay sa raw na text ang mga embedding model, at marami na ang naglalagay sa احمد at أحمد nang magkalapit. Puwedeng makatulong, walang epekto, o makasama ang pag-normalize bago mag-embed. Bumuo ng 50 hanggang 100 totoong query na may alam na sagot, patakbuhin gamit ang raw at normalized na input, at panatilihin kung alin ang mas mataas ang recall. Anuman ang piliin mo, ilapat ito nang magkapareho sa mga dokumento at query.

Bahagya ring ibinababa ng normalization ang bilang ng token, dahil dagdag na character para sa [tokenizer](https://broadrouter.com/fil/glossary/tokenizer/) ang diacritics at tatweel. Nasa [tokenizer efficiency dataset](https://broadrouter.com/data/tokenizer-efficiency/) at sa [token kada salita sa Arabic](https://broadrouter.com/fil/blog/tokens-per-word-arabic-english/) ang mga nasukat na ratio. Ginagamit din ang parehong normalization para patas na i-score ang speech recognition; tingnan ang [Arabic WER, ipinaliwanag](https://broadrouter.com/fil/blog/arabic-asr-wer-explained/).

Ibang paraan talaga ang kailangan ng Arabizi (Arabic sa Latin na letra): [paano hinahawakan ng mga LLM ang Arabizi](https://broadrouter.com/fil/blog/arabizi-llm-handling/).

## Saan pumapasok ang BroadNet Inference

Sa sarili mong code tumatakbo ang normalization, kaya walang API na kailangan para dito. Pumapasok ang BroadNet Inference pagkatapos ng retrieval. Hindi ito nagbebenta ng embeddings, kaya ipares ang retriever at embeddings provider na gusto mo sa isang BroadNet chat model para sa hakbang ng pagsagot. 1,048,576 token ng context ang kaya ng [GLM 5.3](https://broadrouter.com/fil/models/glm-5.3/) at DeepSeek V4.1 Flash, kaya maipapasa mo ang maraming nakuhang passage sa orihinal at hindi normalized nilang Arabic. Para sa pagpili ng model batay sa kalidad sa Arabic, tingnan ang [pagpili ng LLM para sa Arabic](https://broadrouter.com/fil/blog/choosing-an-llm-for-arabic/). Kung keyword search lang ang kailangan mo, baka sapat na ang built-in na `arabic` analyzer ng Elasticsearch.

Mga libreng tool para rito (Ingles)

-   [Arabic token counter](https://broadrouter.com/tools/arabic-token-counter/) Arabic vs English token counts per tokenizer: the "Arabic tax" in tokens and money.
-   [Arabic text normalizer](https://broadrouter.com/tools/arabic-text-normalizer/) Tashkeel, tatweel, alef, ya, ta marbuta, digits and invisible characters, with a matching Python function.
-   [Speech-to-text cost calculator](https://broadrouter.com/tools/speech-to-text-cost-calculator/) Hours, calls or voice notes to a monthly transcription bill, against your current provider.

[Libreng tools (Ingles)](https://broadrouter.com/tools/)

## Mga termino sa artikulong ito

[Embeddings](https://broadrouter.com/fil/glossary/embeddings/)

Ang embeddings ay mga listahan ng floating-point na numero (vector) na binubuo ng isang model para kumatawan sa isang piraso ng text, larawan o ibang input. Magkakalapit ang vector ng mga input na magkatulad ang kahulugan, kaya magagamit ang layo ng mga vector para i-rank ang search results, i-cluster ang mga dokumento o hanapin ang magkakaugnay na item.

[Arabic diacritics (tashkeel)](https://broadrouter.com/fil/glossary/arabic-diacritics/)

Ang Arabic diacritics, o tashkeel, ay maliliit na markang isinusulat sa itaas o ibaba ng mga titik para ipakita ang maiikling patinig, dobleng katinig at kawalan ng patinig. Opsyonal ang mga ito: wala ang mga ito sa karamihan ng Arabic text, pati sa balita, kaya hinuhulaan ng mambabasa at ng software ang patinig mula sa context.

[Hamza](https://broadrouter.com/fil/glossary/hamza/)

Ang hamza (ء) ang letra ng glottal stop sa Arabic. Isinusulat ito nang mag-isa o nakapatong sa isang upuan: alef (أ إ), waw (ؤ) o yeh (ئ), at pinagsasama ng آ ang alef at madda. Dahil hindi pare-pareho ang pag-type nito, madalas ginagawang ا ng mga search engine at speech scoring ang mga anyong may alef.

[Unicode normalization](https://broadrouter.com/fil/glossary/unicode-normalization/)

Ang Unicode normalization ay ang pag-convert ng text sa isang standard na form para pareho ang code point ng mga string na magkamukha. Apat ang form: NFD, NFC, NFKD at NFKC; pinag-iisa rin ng mga K form ang mga compatibility character, gaya ng Arabic presentation forms at ligature, sa ordinaryong letra.

[Arabic text normalization](https://broadrouter.com/fil/glossary/arabic-text-normalization/)

Ang Arabic text normalization ay ang hakbang na nagmamapa sa iisang anyo ng mga variant ng spelling ng parehong salita bago ang matching: pagtatanggal ng diacritics at tatweel, pag-iisa ng mga anyo ng alef, at kadalasang pagmapa ng ى sa ي at ة sa ه. Ginagamit ito sa search key at evaluation, hindi sa text na ipinapakita mo.

[Token](https://broadrouter.com/fil/glossary/token/)

Ang token ay ang yunit ng text na binabasa at isinusulat ng isang language model: isang salita, bahagi ng salita, bantas o byte sequence na ginawa ng tokenizer ng model. Sa token binibilang, nililimitahan at kadalasang sinisingil ng mga LLM API ang paggamit.

[API key](https://broadrouter.com/fil/glossary/api-key/)

Ang API key ay isang lihim na string na kumikilala at nagpapahintulot sa client na tumatawag sa isang API. Kadalasang hinihingi ito ng mga LLM API sa Authorization: Bearer header, at ang sinumang may hawak ng key ay makakagawa ng mga request na sisingilin sa account na may-ari nito.

[BM25](https://broadrouter.com/fil/glossary/bm25/)

Ang BM25 (Okapi BM25) ay ranking function para sa keyword search na nagbibigay ng score sa dokumento batay sa kung gaano kadalas lumalabas dito ang mga termino ng query, kung gaano kabihira ang mga terminong iyon sa buong collection, at kung gaano kahaba ang dokumento. Ito ang default na similarity sa Lucene at Elasticsearch.

## Mga tanong

### Dapat bang tanggalin ang tashkeel (diacritics) bago i-index ang Arabic text?

Para sa search, oo: walang diacritics ang karamihan ng query at ng modernong text, kaya kung hindi ay hindi magtutugma ang mga dokumentong may diacritics. Tanggalin ang mga ito sa index key at sa query, itago ang orihinal na text para sa display, at panatilihin ang mga ito para sa Quran, tula o pagbigkas, kung saan may dala silang kahulugan.

### Dapat bang i-normalize ang ta marbuta (ة) bilang ha (ه)?

Kadalasan oo para sa search, dahil maraming tao ang nagta-type ng ه sa dulo ng salita. Pinagsasama nga nito ang ilang pares, gaya ng كتابة (pagsulat) at كتابه (ang aklat niya). Kung mahalaga sa domain mo ang mga banggaang iyon, panatilihin ang ة at i-test ang dalawang setting.

### Ano ang ginagawa ng Arabic normalization sa Elasticsearch?

Ginagamit ng arabic\_normalization token filter ang ArabicNormalizer ng Lucene: ginagawang bare alef ang mga hamza-on-alef na anyo, ha ang ta marbuta, ya ang alef maksura, at tinatanggal ang harakat at tatweel. Nagdadagdag ang built-in na arabic analyzer ng stop words at stemmer na nagtatanggal ng nakakabit na article, conjunction, preposition at karaniwang suffix.

### Nakakatulong ba ang Arabic normalization sa embedding search?

Hindi pa ito napatutunayan. Galing sa keyword retrieval ang mga nasukat na pakinabang. Natututo mula sa raw na text ang mga embedding model at madalas kaya na nila ang mga variant ng spelling, kaya bumuo ng maliit na set ng totoong query at ikumpara ang recall na may at walang normalization bago magpasya.

### Dapat bang i-normalize ang Arabic text bago ipadala sa LLM?

Sa pangkalahatan, hindi. Ipadala ang orihinal na text para manatiling eksakto ang mga sipi, pangalan at citation. Nakakatipid ng kaunting token ang pagtanggal ng tashkeel, pero gawin lang ito kapag hindi kailangan ng gawain ang mga marka.

## Magbasa pa

-   [Arabic RAG: normalisation, chunking at retrieval na gumagana](https://broadrouter.com/fil/blog/arabic-rag-search/)
-   [Token kada salita sa Arabic vs English: bakit mas mahal ang Arabic](https://broadrouter.com/fil/blog/tokens-per-word-arabic-english/)
-   [Arabic ASR word error rate (WER), ipinaliwanag](https://broadrouter.com/fil/blog/arabic-asr-wer-explained/)
-   [Arabizi at LLM: paghawak ng Franco-Arabic na may numerong 3 at 7](https://broadrouter.com/fil/blog/arabizi-llm-handling/)
-   [Pagpili ng LLM API para sa Arabic: ano ang dapat i-test](https://broadrouter.com/fil/blog/choosing-an-llm-for-arabic/)
-   [Arabic named entity extraction gamit ang LLM: JSON, petsa at check](https://broadrouter.com/fil/blog/arabic-named-entity-extraction-llm/)
-   [Diacritics sa Arabic text gamit ang LLM: prompt, check at DER](https://broadrouter.com/fil/blog/arabic-diacritization-llm/)
-   [Arabic grammar at spelling correction gamit ang LLM: paano gawin](https://broadrouter.com/fil/blog/arabic-grammar-spelling-correction-llm/)
-   [Arabic meeting minutes mula sa recording: isang API pipeline](https://broadrouter.com/fil/blog/arabic-meeting-minutes-from-recordings/)
-   [Paghahambing ng Arabic OCR API: Google, Azure, Textract, Mistral, LLM](https://broadrouter.com/fil/blog/arabic-ocr-api-comparison/)
-   [Gabay: Paano gamitin ang OpenAI Python SDK sa BroadNet Inference](https://broadrouter.com/fil/guides/openai-python-sdk/)

Subukan ito sa totoong workload mo. May US$5 na panimulang credit ang mga bagong account para sa Gemma at transcription. Kailangan ng top-up para sa DeepSeek, GLM, at Qwen3.8.

[Magsimula](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-blog-arabic-text-normalization-search&utm_content=page-cta) ·

**Mga source**

-   [Larkey, Ballesteros at Connell, Improving Stemming for Arabic Information Retrieval: Light Stemming and Co-occurrence Analysis, SIGIR 2002 (sinuri noong 2026-11-15)](https://ciir.cs.umass.edu/pubfiles/ir-249.pdf)
-   [Dokumentasyon ng CAMeL Tools 1.6.0, camel\_tools.utils.normalize (sinuri noong 2026-11-15)](https://camel-tools.readthedocs.io/en/latest/api/utils/normalize.html)
-   [Source ng CAMeL Tools, charsets.py: ang AR\_DIAC\_CHARSET na ginagamit ng dediac\_ar (sinuri noong 2026-11-15)](https://github.com/CAMeL-Lab/camel_tools/blob/master/camel_tools/utils/charsets.py)
-   [PyArabic 0.6.15 sa GitHub, araby module (sinuri noong 2026-11-15)](https://github.com/linuxscout/pyarabic)
-   [Dokumentasyon ng Apache Lucene 9.12 ArabicNormalizer (sinuri noong 2026-11-15)](https://lucene.apache.org/core/9_12_0/analysis/common/org/apache/lucene/analysis/ar/ArabicNormalizer.html)
-   [Mga normalization token filter ng Elasticsearch: arabic\_normalization (sinuri noong 2026-11-15)](https://www.elastic.co/docs/reference/text-analysis/analysis-normalization-tokenfilter)
-   [Unicode Standard Annex #15, Unicode Normalization Forms (sinuri noong 2026-11-15)](https://unicode.org/reports/tr15/)
-   [Unicode Arabic code chart, U+0600 hanggang U+06FF (sinuri noong 2026-11-15)](https://www.unicode.org/charts/PDF/U0600.pdf)
