---
title: "RAG bahasa Arab: penormalan, chunking dan embedding | BroadRouter"
description: "RAG atas dokumen bahasa Arab: normalkan alif, ya dan ta marbuta, pecahkan teks dengan munasabah, pilih embedding berbilang bahasa dan tambah carian kata kunci."
url: https://broadrouter.com/ms/blog/arabic-rag-search/
lang: ms
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan daripada bahasa Inggeris dengan bantuan AI. [Baca versi asal dalam bahasa Inggeris](https://broadrouter.com/blog/arabic-rag-search/) (dikemas kini 2026-11-14).

# RAG bahasa Arab: penormalan, chunking dan carian yang berkesan

Oleh pasukan BroadNet Inference · 6 minit bacaan · Diterbitkan 2026-11-14

RAG bahasa Arab berkesan apabila anda menormalkan teks sebelum mengindeks (seragamkan bentuk alif, ya dan alif maqsura, ta marbuta, buang baris dan tatweel), memecahkan teks mengikut perenggan, menggabungkan model embedding berbilang bahasa dengan carian kata kunci, dan membiarkan LLM konteks panjang menjawab daripada petikan yang diperoleh dengan petikan sumber. Gunakan penormalan yang sama pada pertanyaan.

## Perkara utama

-   Normalkan dokumen dan pertanyaan dengan cara yang sama: أ/إ/آ kepada ا, ى kepada ي, ة kepada ه, tanpa baris, tanpa tatweel.
-   Simpan teks asal untuk paparan; indeks salinan yang dinormalkan.
-   Gabungkan carian kata kunci dengan penganalisis bahasa Arab dan embedding berbilang bahasa, kemudian uji gabungan hibrid berbanding setiap satu secara bersendirian pada pertanyaan anda sendiri.
-   Pilih model embedding berbilang bahasa yang telah anda uji pada pertanyaan bahasa Arab. BroadNet Inference tidak menawarkan endpoint embedding.
-   Model konteks panjang membolehkan anda mengambil banyak petikan: DeepSeek V4.1 Flash dan GLM 5.3 menerima 1,048,576 token.

**Dalam halaman ini**

1.  Bagaimanakah rupa saluran RAG bahasa Arab?
2.  Bagaimanakah teks Arab patut dinormalkan untuk carian?
3.  Bagaimanakah dokumen bahasa Arab patut dipecahkan?
4.  Mengapakah carian kata kunci dan embedding perlu digabungkan?
5.  Bagaimanakah cara menjana jawapan dengan petikan sumber?
6.  Bagaimanakah cara menilai RAG bahasa Arab?

_[image: A man speaking into a microphone beside the Arabic word "حوار" (conversation), with the text "Conversations, ready to search."]_

Untuk menjadikan [retrieval-augmented generation](https://broadrouter.com/ms/glossary/rag/) (RAG) berkesan pada bahasa Arab, normalkan dokumen dan pertanyaan dengan peraturan ejaan yang sama, pecahkan teks mengikut perenggan, cari dengan penganalisis kata kunci bahasa Arab dan model embedding berbilang bahasa, dan minta LLM menjawab hanya daripada petikan yang diperoleh, dengan petikan sumber.

Corak daripada [kertas RAG asal](https://arxiv.org/abs/2005.11401) ialah ambil (retrieve), kemudian jana (generate). Kebanyakan kegagalan RAG bahasa Arab berlaku pada separuh pertama. Pengguna menaip “الفاتوره” tetapi indeks menyimpan “الفاتورة”; polisi menyebut “إلغاء” tetapi pengguna menulis “الغاء”; model embedding kebanyakannya dilatih dalam bahasa Inggeris. Betulkan carian dan bahagian LLM biasanya akan beres dengan sendirinya.

## Bagaimanakah rupa saluran RAG bahasa Arab?

1.  **Ekstrak** teks daripada PDF, halaman web dan artikel pusat bantuan. Untuk PDF bahasa Arab yang diimbas, lihat [OCR bahasa Arab vs LLM visi](https://broadrouter.com/ms/blog/arabic-ocr-vision-llm/).
2.  **Normalkan** satu salinan teks untuk pengindeksan.
3.  **Pecahkan (chunk)** mengikut struktur: tajuk dan perenggan.
4.  **Indeks** dua kali: indeks kata kunci dan indeks vektor.
5.  **Ambil** daripada kedua-duanya dengan pertanyaan yang dinormalkan, gabungkan dan susun semula.
6.  **Jana** jawapan daripada petikan teratas, dengan merujuk petikan itu.

## Bagaimanakah teks Arab patut dinormalkan untuk carian?

Bahasa Arab membenarkan beberapa ejaan bagi perkataan yang sama, dan pengguna jarang menaip baris atau hamzah secara konsisten. Normalkan salinan yang diindeks dan setiap pertanyaan dengan fungsi yang sama:

| Peraturan | Aksara | Mengapa |
| --- | --- | --- |
| Seragamkan alif | أ إ آ ٱ → ا | Hamzah sering ditinggalkan semasa menaip |
| Alif maqsura | ى → ي | Lazim dalam taipan Mesir dan ejaan longgar |
| Ta marbuta | ة → ه | Pengguna menaip ه di hujung perkataan |
| Buang baris | U+064B hingga U+0652, U+0670 | Kebanyakan teks dan pertanyaan tidak berbaris |
| Buang tatweel | ـ (U+0640) | Pemanjangan hiasan |
| Digit | ٠–٩ → 0–9 | Padankan nombor dalam mana-mana bentuk |

Cuba setiap pilihan pada teks anda sendiri dengan [penormal teks Arab](https://broadrouter.com/tools/arabic-text-normalizer/), yang turut menulis fungsi Python yang sepadan.

```python
import re

_DIAC = re.compile(r"[ً-ْٰ]")

def normalise(text: str) -> str:
    text = _DIAC.sub("", text).replace("ـ", "")
    text = re.sub("[أإآٱ]", "ا", text)
    text = text.replace("ى", "ي").replace("ة", "ه")
    return text.translate(str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789"))
```

Titik kod terdapat dalam [carta Unicode Arabic](https://www.unicode.org/charts/PDF/U0600.pdf). Dua amaran:

-   **Jangan sekali-kali paparkan teks yang dinormalkan.** Simpan teks asal di sebelahnya dan paparkan, rujuk serta hantar teks asal kepada LLM. Bahasa Arab yang dinormalkan kelihatan salah eja kepada pembaca.
-   **Sesetengah penggabungan menghilangkan makna.** ة → ه menggabungkan beberapa pasangan perkataan, dan ى → ي menggabungkan “على” (di atas) dengan “علي” (Ali). Untuk recall carian, pertukaran itu biasanya berbaloi; ujilah pada pertanyaan anda sendiri.

Peraturan yang sama juga teras kepada [pengukuran ketepatan pengecaman pertuturan bahasa Arab](https://broadrouter.com/ms/blog/arabic-asr-wer-explained/), jadi anda boleh guna semula satu fungsi di seluruh sistem anda.

## Bagaimanakah dokumen bahasa Arab patut dipecahkan?

-   **Pecahkan mengikut struktur.** Tajuk, perkara bernombor dalam kontrak (المادة ١، المادة ٢) dan pemisah perenggan ialah sempadan semula jadi.
-   **Beberapa ratus perkataan setiap chunk,** dengan pertindihan satu atau dua ayat. Perkataan Arab membawa lebih banyak morfem berbanding perkataan Inggeris, jadi satu chunk meliputi lebih banyak makna setiap perkataan daripada yang ditunjukkan oleh panjangnya.
-   **Sempadan ayat:** pecahkan pada . ؟ ! dan koma Arab ، hanya sebagai pilihan terakhir. Banyak teks Arab menggunakan ayat panjang yang disambung dengan و, jadi pemecahan peringkat perenggan lebih selamat.
-   **Bawa konteks.** Letakkan tajuk dokumen dan tajuk bahagian di hadapan setiap chunk, dalam bahasa Arab, supaya chunk yang berbunyi “تُطبَّق هذه الرسوم” (yuran ini dikenakan) masih menyatakan yuran yang mana.

[Kalkulator chunking RAG](https://broadrouter.com/tools/rag-chunking-calculator/) menukar saiz chunk, pertindihan dan top-k kepada bilangan chunk, token setiap pertanyaan dan kos bulanan.

## Mengapakah carian kata kunci dan embedding perlu digabungkan?

### Carian kata kunci

Morfologi bahasa Arab mengalahkan padanan kata kunci yang naif: كتاب, الكتاب, بالكتاب, وكتابه dan كتب semuanya berkaitan dengan “buku”. Gunakan penganalisis yang mengendalikan bahasa Arab. Elasticsearch menyertakan [penganalisis bahasa Arab](https://www.elastic.co/guide/en/elasticsearch/reference/current/analysis-lang-analyzer.html) yang merangkaikan kata henti Arab, penormalan digit, penormalan Arab dan pemangkas (stemmer) Arab, jadi bentuk berawalan seperti الكتاب dan وكتاب lebih kerap sepadan. Semak apa yang digabungkannya pada kosa kata anda sendiri sebelum bergantung padanya.

### Embedding

[Model embedding](https://broadrouter.com/ms/glossary/embeddings/) memetakan teks kepada vektor supaya petikan dengan makna serupa berada berdekatan, walaupun tiada perkataan yang sama. Untuk bahasa Arab, pilih model berbilang bahasa dan ujinya:

-   **Utamakan model yang dilatih dalam banyak bahasa,** seperti [BGE M3](https://arxiv.org/abs/2402.03216), yang menurut pengarangnya menyokong lebih 100 bahasa kerja. Model bahasa Inggeris sahaja memberi vektor bahasa Arab yang lemah.
-   **Uji carian rentas bahasa** jika pengguna bertanya dalam bahasa Inggeris tentang dokumen bahasa Arab, atau sebaliknya.
-   **Buat embedding teks asal atau teks yang dinormalkan, tetapi konsisten** antara dokumen dan pertanyaan. Uji kedua-duanya; hasil berbeza mengikut model.

BroadNet Inference tidak menawarkan endpoint embedding: endpoint yang didokumenkan ialah chat completions dan audio transcriptions. Gunakan penyedia embedding yang anda percayai, atau hos model embedding berbilang bahasa terbuka dalam [pangkalan data vektor](https://broadrouter.com/ms/glossary/vector-database/), dan gunakan BroadNet untuk penjanaan. [Kalkulator kos embedding](https://broadrouter.com/tools/embedding-cost-calculator/) mengira harga pengindeksan dan pertanyaan merentasi penyedia.

### Gabung dan susun semula

Jalankan kedua-dua carian, gabungkan hasil dengan reciprocal rank fusion (skor setiap dokumen dengan jumlah 1 / (k + kedudukan) merentasi senarai), dan simpan 10 hingga 30 petikan teratas. Penyusun semula (reranker) atau semakan relevan pantas dengan LLM boleh mengurangkannya lagi, tetapi dengan model konteks panjang anda selalunya boleh melangkaunya.

## Bagaimanakah cara menjana jawapan dengan petikan sumber?

Berikan model petikan beserta id dan minta ia menjawab hanya daripadanya:

```python
import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

def answer(question: str, passages: list[dict]) -> str:
    context = "\n\n".join(f"[{p['id']}] {p['title']}\n{p['text']}" for p in passages)
    system = ("أجب عن سؤال المستخدم بالعربية الفصحى المبسطة، اعتماداً فقط على المقاطع المرفقة. "
              "اذكر رقم المقطع بين قوسين مربعين بعد كل معلومة. "
              "إذا لم تجد الإجابة في المقاطع فقل ذلك بوضوح.")
    r = client.chat.completions.create(
        model="broadnet/deepseek-v4.1-flash",
        max_tokens=4000,
        messages=[{"role": "system", "content": system},
                  {"role": "user", "content": f"المقاطع:\n{context}\n\nالسؤال: {question}"}],
    )
    return r.choices[0].message.content
```

Prompt sistem bahasa Arab itu bermaksud: “Jawab soalan pengguna dalam bahasa Arab Standard Moden yang mudah, berdasarkan petikan yang dilampirkan sahaja. Nyatakan nombor petikan dalam kurungan siku selepas setiap maklumat. Jika anda tidak menemui jawapan dalam petikan, katakan dengan jelas.” Arahan dalam bahasa Inggeris juga berfungsi sama baik; yang penting ialah peraturan untuk menjawab hanya daripada petikan dan merujuk sumber.

Letakkan petikan sebelum soalan. Jika dokumen yang sama muncul dalam banyak permintaan, kekalkan susunannya di permulaan prompt supaya harga input cache terpakai; lihat [token input cache](https://broadrouter.com/ms/blog/cached-input-tokens-explained/).

### Model yang mana?

| Model | Konteks | Mengapa |
| --- | --- | --- |
| [DeepSeek V4.1 Flash](https://broadrouter.com/ms/models/deepseek-v4.1-flash/) | 1,048,576 | Kadar input cache paling rendah antara ketiga-tiga ini di BroadNet ($0.0055 setiap 1M token), ruang untuk banyak petikan, pelan kadar tetap tersedia |
| [GLM 5.3](https://broadrouter.com/ms/models/glm-5.3/) | 1,048,576 | Tools dan output berstruktur untuk carian agentik |
| [Qwen3.8 27B](https://broadrouter.com/ms/models/qwen3.8-27b/) | 262,144 | BroadNet mengujinya dalam bahasa Arab: penulisan fasih, dialek Teluk dan Mesir difahami |

Dengan konteks sejuta token, anda boleh mengambil banyak petikan, katakan 50 dan bukannya 5, dan biarkan model memilih. Ini mengurangkan kerosakan apabila carian meletakkan petikan yang betul di kedudukan ke-12. Untuk set dokumen kecil, anda mungkin tidak memerlukan carian langsung; lihat [konteks panjang vs RAG](https://broadrouter.com/ms/blog/long-context-vs-rag/) dan semak sama ada korpus anda muat dengan [kalkulator tetingkap konteks](https://broadrouter.com/tools/context-window-calculator/). Harga semua model ada di [halaman harga](https://broadrouter.com/ms/pricing/).

## Bagaimanakah cara menilai RAG bahasa Arab?

1.  Tulis 50 hingga 100 soalan sebenar, dalam campuran MSA, dialek dan bahasa Inggeris yang benar-benar ditaip oleh pengguna anda.
2.  Tandakan petikan yang menjawab setiap soalan.
3.  Ukur carian dahulu: adakah petikan yang betul dalam 10 teratas? Bandingkan kata kunci sahaja, embedding sahaja dan hibrid, dengan dan tanpa penormalan.
4.  Kemudian ukur jawapan: betul, ada rujukan sumber, dan “tidak ditemui” apabila jawapan tiada.
5.  Sengaja sertakan pertanyaan yang salah eja dan dalam dialek. Pengguna menulis “وين الفاتوره” (Teluk/Levant: di mana invois), bukan “أين الفاتورة”.

Betulkan carian sebelum menukar model penjanaan: jika petikan yang betul tidak pernah sampai ke prompt, tiada model yang boleh merujuknya.

Alat percuma untuk topik ini (Bahasa Inggeris)

-   [Arabic token counter](https://broadrouter.com/tools/arabic-token-counter/) Arabic vs English token counts per tokenizer: the "Arabic tax" in tokens and money.
-   [Arabic text normalizer](https://broadrouter.com/tools/arabic-text-normalizer/) Tashkeel, tatweel, alef, ya, ta marbuta, digits and invisible characters, with a matching Python function.
-   [Speech-to-text cost calculator](https://broadrouter.com/tools/speech-to-text-cost-calculator/) Hours, calls or voice notes to a monthly transcription bill, against your current provider.

[Alatan percuma (Bahasa Inggeris)](https://broadrouter.com/tools/)

## Istilah dalam artikel ini

[Embedding (vektor teks)](https://broadrouter.com/ms/glossary/embeddings/)

Embedding ialah senarai nombor titik terapung (vektor) yang dihasilkan oleh model untuk mewakili sekeping teks, imej atau input lain. Input yang maknanya serupa mendapat vektor yang berdekatan, jadi jarak antara vektor boleh digunakan untuk menyusun hasil carian, mengelompokkan dokumen atau mencari item berkaitan.

[Tetingkap konteks (context window)](https://broadrouter.com/ms/glossary/context-window/)

Tetingkap konteks ialah bilangan maksimum token yang boleh dikendalikan oleh model bahasa dalam satu permintaan. Ia meliputi prompt, sejarah perbualan, definisi alatan, imej dan output yang dijana, termasuk token penaakulan. Apa-apa yang tidak muat mesti dipotong, diringkaskan atau dipecahkan kepada beberapa permintaan.

[Tool calling (panggilan alatan)](https://broadrouter.com/ms/glossary/tool-calling/)

Tool calling, juga dipanggil function calling, ialah ciri API LLM di mana model memulangkan permintaan berstruktur untuk menjalankan fungsi yang ditakrifkan oleh pembangun, bersama argumen JSON. Aplikasi menjalankan fungsi itu dan menghantar hasilnya kembali; model sendiri tidak pernah menjalankan kod.

[Token](https://broadrouter.com/ms/glossary/token/)

Token ialah unit teks yang dibaca dan ditulis oleh model bahasa: satu perkataan, sebahagian perkataan, tanda baca atau jujukan bait yang dihasilkan oleh tokenizer model itu. API LLM mengira, mengehadkan dan biasanya mengebil penggunaan dalam token.

[Token input cache (cached input tokens)](https://broadrouter.com/ms/glossary/cached-input-tokens/)

Token input cache ialah token prompt yang baru sahaja diproses oleh penyedia LLM dan boleh diguna semula daripada cache tanpa dikira semula, biasanya awalan yang berulang seperti prompt sistem atau dokumen. Penyedia mengebilnya pada kadar lebih rendah daripada token input baharu.

[Bahasa Arab Standard Moden (MSA)](https://broadrouter.com/ms/glossary/msa/)

Bahasa Arab Standard Moden (MSA) ialah bentuk bahasa Arab yang diseragamkan untuk penulisan, berita, pendidikan dan pertuturan rasmi di seluruh dunia Arab. Ia bukan bahasa harian asli sesiapa: orang bertutur dalam dialek serantau seperti bahasa Arab Mesir atau Teluk dan beralih kepada MSA dalam situasi rasmi.

[Baris Arab (tashkeel, Arabic diacritics)](https://broadrouter.com/ms/glossary/arabic-diacritics/)

Baris Arab, atau tashkeel, ialah tanda kecil yang ditulis di atas atau di bawah huruf untuk menunjukkan vokal pendek, konsonan berganda dan ketiadaan vokal. Ia pilihan: kebanyakan teks Arab, termasuk berita, meninggalkannya, jadi pembaca dan perisian meneka vokal daripada konteks.

[BM25](https://broadrouter.com/ms/glossary/bm25/)

BM25 (Okapi BM25) ialah fungsi kedudukan untuk carian kata kunci yang memberi skor kepada dokumen berdasarkan kekerapan istilah pertanyaan muncul di dalamnya, sejauh mana istilah itu jarang dalam keseluruhan koleksi, dan panjang dokumen. Ia ialah similarity lalai dalam Lucene dan Elasticsearch.

## Soalan lazim

### Adakah BroadNet Inference menyediakan embedding?

Tidak. Endpoint yang didokumenkan ialah chat completions dan audio transcriptions. Gunakan model embedding daripada penyedia lain atau jalankan sendiri model embedding berbilang bahasa terbuka, dan gunakan BroadNet untuk langkah penjanaan.

### Patutkah saya menormalkan ta marbuta kepada ha?

Untuk carian, biasanya ya, kerana pengguna menaip kedua-duanya. Ia menggabungkan beberapa perkataan yang berbeza, tetapi peningkatan recall melebihi kerugian itu dalam kebanyakan korpus. Simpan teks asal untuk paparan dan petikan sumber.

### Berapakah saiz chunk bahasa Arab yang sesuai?

Mulakan dengan satu hingga tiga perenggan, beberapa ratus perkataan, dengan pertindihan kecil. Pecahkan pada tajuk dan pemisah perenggan, bukan di tengah ayat, dan sertakan tajuk dokumen dengan setiap chunk.

### Model embedding manakah yang sesuai untuk bahasa Arab?

Gunakan model berbilang bahasa dan uji pada pertanyaan bahasa Arab anda sendiri. Contohnya, pengarang BGE M3 menyatakan ia menyokong carian dalam lebih 100 bahasa kerja. Model embedding bahasa Inggeris sahaja memberi vektor bahasa Arab yang lemah.

### Bolehkah pengguna mencari dalam bahasa Inggeris dan menemui dokumen bahasa Arab?

Boleh, dengan model embedding berbilang bahasa yang memetakan kedua-dua bahasa ke satu ruang, atau dengan menterjemah pertanyaan menggunakan LLM sebelum carian kata kunci. Uji pertanyaan rentas bahasa secara khusus.

## Teruskan membaca

-   [Konteks panjang vs RAG: bila 1M token menggantikan DB vektor](https://broadrouter.com/ms/blog/long-context-vs-rag/)
-   [Kadar ralat perkataan (WER) ASR bahasa Arab: penjelasan](https://broadrouter.com/ms/blog/arabic-asr-wer-explained/)
-   [Kejuruteraan prompt bahasa Arab: laras, RTL, angka dan teks bercampur](https://broadrouter.com/ms/blog/arabic-prompt-engineering/)
-   [Memilih API LLM untuk bahasa Arab: apa yang perlu diuji](https://broadrouter.com/ms/blog/choosing-an-llm-for-arabic/)
-   [Tambah baris pada teks Arab dengan LLM: prompt, semakan dan DER](https://broadrouter.com/ms/blog/arabic-diacritization-llm/)
-   [Pembetulan tatabahasa dan ejaan bahasa Arab dengan LLM: panduan](https://broadrouter.com/ms/blog/arabic-grammar-spelling-correction-llm/)
-   [Panduan: Cara guna LangChain dengan BroadNet Inference](https://broadrouter.com/ms/guides/langchain-openai-base-url/)
-   [Panduan: Cara guna OpenAI Python SDK dengan BroadNet Inference](https://broadrouter.com/ms/guides/openai-python-sdk/)

Cuba dengan beban kerja sebenar anda. Akaun baharu bermula dengan kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM dan Qwen3.8 memerlukan tambah nilai.

[Mulakan](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-blog-arabic-rag-search&utm_content=page-cta) ·

**Sumber**

-   [Lewis et al., Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (arXiv 2005.11401; disemak 2026-11-14)](https://arxiv.org/abs/2005.11401)
-   [Chen et al., M3-Embedding: lebih 100 bahasa kerja (arXiv 2402.03216; disemak 2026-11-14)](https://arxiv.org/abs/2402.03216)
-   [Penganalisis bahasa Elasticsearch, penapis penganalisis arabic (disemak 2026-11-14)](https://www.elastic.co/guide/en/elasticsearch/reference/current/analysis-lang-analyzer.html)
-   [Carta kod Unicode Arabic, U+0600 hingga U+06FF (disemak 2026-11-14)](https://www.unicode.org/charts/PDF/U0600.pdf)
-   [Rujukan API BroadNet Inference, endpoint yang tersedia (disemak 2026-11-14) (Bahasa Inggeris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-blog-arabic-rag-search&utm_content=sources)
