---
title: "RAG bahasa Arab: normalisasi, chunking, dan embedding"
description: "Retrieval-augmented generation untuk dokumen bahasa Arab: normalisasi alif, ya, dan ta marbuta, chunking yang masuk akal, embedding multibahasa, plus keyword search."
url: https://broadrouter.com/id/blog/arabic-rag-search/
lang: id
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan dari bahasa Inggris dengan bantuan AI. [Baca versi asli bahasa Inggris](https://broadrouter.com/blog/arabic-rag-search/) (diperbarui 2026-11-14).

# RAG bahasa Arab: normalisasi, chunking, dan retrieval yang berhasil

Oleh tim BroadNet Inference · 6 menit baca · Dipublikasikan 2026-11-14

RAG bahasa Arab berhasil jika Anda menormalisasi teks sebelum indexing (menyatukan bentuk alif, ya dan alif maqsura, ta marbuta, serta menghapus harakat dan tatwil), melakukan chunking per paragraf, menggabungkan model embedding multibahasa dengan keyword search, dan membiarkan LLM long-context menjawab dari passage yang ditemukan dengan sitasi. Terapkan normalisasi yang sama pada query.

## Poin penting

-   Normalisasi dokumen dan query dengan cara yang sama: أ/إ/آ menjadi ا, ى menjadi ي, ة menjadi ه, tanpa harakat, tanpa tatwil.
-   Simpan teks asli untuk ditampilkan; indeks salinan yang sudah dinormalisasi.
-   Gabungkan keyword search dengan analyzer bahasa Arab dan embedding multibahasa, lalu uji hybrid dibanding masing-masing secara terpisah dengan query Anda sendiri.
-   Pilih model embedding multibahasa yang sudah Anda uji dengan query bahasa Arab. BroadNet Inference tidak menyediakan endpoint embedding.
-   Model long-context memungkinkan retrieval yang longgar: DeepSeek V4.1 Flash dan GLM 5.3 menerima 1.048.576 token.

**Di halaman ini**

1.  Seperti apa pipeline RAG bahasa Arab?
2.  Bagaimana menormalisasi teks Arab untuk pencarian?
3.  Bagaimana melakukan chunking dokumen bahasa Arab?
4.  Mengapa menggabungkan keyword search dan embedding?
5.  Bagaimana menghasilkan jawaban dengan sitasi?
6.  Bagaimana mengevaluasi RAG bahasa Arab?

_[image: A man speaking into a microphone beside the Arabic word "حوار" (conversation), with the text "Conversations, ready to search."]_

Agar [retrieval-augmented generation](https://broadrouter.com/id/glossary/rag/) (RAG) berhasil untuk bahasa Arab, normalisasi dokumen dan query dengan aturan ejaan yang sama, lakukan chunking per paragraf, cari dengan analyzer keyword bahasa Arab sekaligus model embedding multibahasa, dan minta LLM menjawab hanya dari passage yang ditemukan, lengkap dengan sitasi.

Polanya, dari [makalah RAG asli](https://arxiv.org/abs/2005.11401), adalah retrieve lalu generate. Sebagian besar kegagalan RAG bahasa Arab terjadi di paruh pertama. Pengguna mengetik “الفاتوره” sementara indeks menyimpan “الفاتورة”; sebuah kebijakan menulis “إلغاء” dan pengguna menulis “الغاء”; model embedding-nya sebagian besar dilatih dengan bahasa Inggris. Perbaiki retrieval, dan bagian LLM biasanya beres dengan sendirinya.

## Seperti apa pipeline RAG bahasa Arab?

1.  **Ekstrak** teks dari PDF, halaman web, dan artikel pusat bantuan. Untuk PDF bahasa Arab hasil pindaian, lihat [OCR bahasa Arab vs LLM vision](https://broadrouter.com/id/blog/arabic-ocr-vision-llm/).
2.  **Normalisasi** salinan teks untuk indexing.
3.  **Chunking** berdasarkan struktur: heading dan paragraf.
4.  **Indeks** dua kali: indeks keyword dan indeks vektor.
5.  **Retrieve** dari keduanya dengan query yang sudah dinormalisasi, lalu gabungkan dan rerank.
6.  **Generate** jawaban dari passage teratas, dengan menyitirnya.

## Bagaimana menormalisasi teks Arab untuk pencarian?

Bahasa Arab mengizinkan beberapa ejaan untuk kata yang sama, dan pengguna jarang mengetik harakat atau hamzah secara konsisten. Normalisasi salinan yang diindeks dan setiap query dengan fungsi yang sama:

| Aturan | Karakter | Alasan |
| --- | --- | --- |
| Satukan alif | أ إ آ ٱ → ا | Hamzah sering tidak diketik |
| Alif maqsura | ى → ي | Umum dalam pengetikan Mesir dan ejaan longgar |
| Ta marbuta | ة → ه | Pengguna mengetik ه di akhir kata |
| Hapus harakat | U+064B sampai U+0652, U+0670 | Sebagian besar teks dan query tanpa harakat |
| Hapus tatwil | ـ (U+0640) | Pemanjangan dekoratif |
| Digit | ٠–٩ → 0–9 | Agar angka cocok dalam bentuk mana pun |

Coba setiap opsi pada teks Anda sendiri dengan [normalizer teks Arab](https://broadrouter.com/tools/arabic-text-normalizer/), yang juga menuliskan fungsi Python yang sesuai.

```python
import re

_DIAC = re.compile(r"[ً-ْٰ]")

def normalise(text: str) -> str:
    text = _DIAC.sub("", text).replace("ـ", "")
    text = re.sub("[أإآٱ]", "ا", text)
    text = text.replace("ى", "ي").replace("ة", "ه")
    return text.translate(str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789"))
```

Code point-nya ada di [tabel Arab Unicode](https://www.unicode.org/charts/PDF/U0600.pdf). Dua peringatan:

-   **Jangan pernah menampilkan teks yang dinormalisasi.** Simpan teks asli di sebelahnya, lalu tampilkan, sitir, dan kirim teks asli ke LLM. Bahasa Arab yang dinormalisasi terlihat salah eja bagi pembaca.
-   **Beberapa penggabungan menghilangkan makna.** ة → ه menggabungkan beberapa pasangan kata, dan ى → ي menggabungkan “على” (di atas) dengan “علي” (Ali). Demi recall pencarian, kompromi itu biasanya sepadan; uji dengan query Anda sendiri.

Aturan yang sama menjadi inti dari [pengukuran akurasi speech recognition bahasa Arab](https://broadrouter.com/id/blog/arabic-asr-wer-explained/), jadi Anda bisa memakai satu fungsi di seluruh stack.

## Bagaimana melakukan chunking dokumen bahasa Arab?

-   **Potong berdasarkan struktur.** Heading, pasal bernomor dalam kontrak (المادة ١، المادة ٢), dan jeda paragraf adalah batas alami.
-   **Beberapa ratus kata per chunk,** dengan overlap satu atau dua kalimat. Kata Arab membawa lebih banyak morfem daripada kata Inggris, jadi satu chunk mencakup lebih banyak makna per kata daripada yang terlihat dari panjangnya.
-   **Batas kalimat:** potong di . ؟ ! dan koma Arab ، hanya sebagai jalan terakhir. Banyak teks Arab memakai kalimat panjang yang disambung dengan و, jadi pemotongan per paragraf lebih aman.
-   **Bawa konteks.** Awali setiap chunk dengan judul dokumen dan heading bagian, dalam bahasa Arab, agar chunk yang berbunyi “تُطبَّق هذه الرسوم” (biaya ini berlaku) tetap menyebut biaya yang mana.

[Kalkulator chunking RAG](https://broadrouter.com/tools/rag-chunking-calculator/) mengubah ukuran chunk, overlap, dan top-k menjadi jumlah chunk, token per query, dan biaya bulanan.

## Mengapa menggabungkan keyword search dan embedding?

### Keyword search

Morfologi bahasa Arab mengalahkan pencocokan keyword yang naif: كتاب, الكتاب, بالكتاب, وكتابه, dan كتب semuanya berkaitan dengan “buku”. Pakai analyzer yang menangani bahasa Arab. Elasticsearch menyertakan [analyzer bahasa Arab](https://www.elastic.co/guide/en/elasticsearch/reference/current/analysis-lang-analyzer.html) yang merangkai stop word Arab, normalisasi digit, normalisasi Arab, dan stemmer Arab, sehingga bentuk berprefiks seperti الكتاب dan وكتاب lebih sering cocok. Cek apa saja yang digabungkannya pada kosakata Anda sendiri sebelum mengandalkannya.

### Embedding

[Model embedding](https://broadrouter.com/id/glossary/embeddings/) memetakan teks ke vektor sehingga passage dengan makna serupa berdekatan, bahkan tanpa kata yang sama. Untuk bahasa Arab, pilih model multibahasa dan ujilah:

-   **Utamakan model yang dilatih dengan banyak bahasa,** seperti [BGE M3](https://arxiv.org/abs/2402.03216), yang menurut penulisnya mendukung lebih dari 100 bahasa kerja. Model yang hanya berbahasa Inggris menghasilkan vektor bahasa Arab yang buruk.
-   **Uji retrieval lintas bahasa** jika pengguna bertanya dalam bahasa Inggris tentang dokumen berbahasa Arab, atau sebaliknya.
-   **Buat embedding dari teks asli atau teks yang dinormalisasi, tetapi konsisten** antara dokumen dan query. Uji keduanya; hasilnya berbeda per model.

BroadNet Inference tidak menyediakan endpoint embedding: endpoint yang didokumentasikannya adalah chat completions dan transkripsi audio. Pakai penyedia embedding yang Anda percaya, atau host sendiri model embedding multibahasa yang open di [vector database](https://broadrouter.com/id/glossary/vector-database/), lalu pakai BroadNet untuk generation. [Kalkulator biaya embedding](https://broadrouter.com/tools/embedding-cost-calculator/) menghitung harga indexing dan query di berbagai penyedia.

### Gabungkan dan rerank

Jalankan kedua pencarian, gabungkan hasilnya dengan reciprocal rank fusion (beri skor setiap dokumen dengan jumlah 1 / (k + peringkat) di semua daftar), dan simpan 10 sampai 30 passage teratas. Reranker atau cek relevansi singkat dengan LLM bisa memangkasnya lagi, tetapi dengan model long-context Anda sering bisa melewatinya.

## Bagaimana menghasilkan jawaban dengan sitasi?

Berikan passage beserta id-nya kepada model dan minta model menjawab hanya dari passage itu:

```python
import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

def answer(question: str, passages: list[dict]) -> str:
    context = "\n\n".join(f"[{p['id']}] {p['title']}\n{p['text']}" for p in passages)
    system = ("أجب عن سؤال المستخدم بالعربية الفصحى المبسطة، اعتماداً فقط على المقاطع المرفقة. "
              "اذكر رقم المقطع بين قوسين مربعين بعد كل معلومة. "
              "إذا لم تجد الإجابة في المقاطع فقل ذلك بوضوح.")
    r = client.chat.completions.create(
        model="broadnet/deepseek-v4.1-flash",
        max_tokens=4000,
        messages=[{"role": "system", "content": system},
                  {"role": "user", "content": f"المقاطع:\n{context}\n\nالسؤال: {question}"}],
    )
    return r.choices[0].message.content
```

System prompt berbahasa Arab itu berbunyi: “Jawab pertanyaan pengguna dalam bahasa Arab Standar Modern yang sederhana, hanya berdasarkan passage yang dilampirkan. Sebutkan nomor passage dalam kurung siku setelah setiap informasi. Jika jawabannya tidak ada di passage, katakan itu dengan jelas.” Instruksi berbahasa Inggris sama baiknya; yang penting adalah aturan untuk menjawab hanya dari passage dan menyertakan sitasi.

Taruh passage sebelum pertanyaan. Jika dokumen yang sama muncul di banyak permintaan, pertahankan urutannya di awal prompt agar harga input cache berlaku; lihat [token input cache](https://broadrouter.com/id/blog/cached-input-tokens-explained/).

### Model yang mana?

| Model | Konteks | Alasan |
| --- | --- | --- |
| [DeepSeek V4.1 Flash](https://broadrouter.com/id/models/deepseek-v4.1-flash/) | 1.048.576 | Tarif input cache terendah di antara ketiganya di BroadNet ($0.0055 per 1 juta token), muat banyak passage, tersedia paket flat |
| [GLM 5.3](https://broadrouter.com/id/models/glm-5.3/) | 1.048.576 | Tool dan output terstruktur untuk retrieval agentik |
| [Qwen3.8 27B](https://broadrouter.com/id/models/qwen3.8-27b/) | 262.144 | Diuji BroadNet dalam bahasa Arab: tulisan fasih, memahami dialek Teluk dan Mesir |

Dengan konteks sejuta token, Anda bisa melakukan retrieval dengan longgar, misalnya 50 passage alih-alih 5, dan membiarkan model memilih. Itu mengurangi kerugian ketika retrieval menaruh passage yang benar di peringkat 12. Untuk kumpulan dokumen kecil, Anda mungkin sama sekali tidak perlu retrieval; lihat [long context vs RAG](https://broadrouter.com/id/blog/long-context-vs-rag/) dan cek apakah korpus Anda muat dengan [kalkulator context window](https://broadrouter.com/tools/context-window-calculator/). Harga semua model ada di [halaman harga](https://broadrouter.com/id/pricing/).

## Bagaimana mengevaluasi RAG bahasa Arab?

1.  Tulis 50 sampai 100 pertanyaan nyata, dengan campuran MSA, dialek, dan bahasa Inggris yang benar-benar diketik pengguna Anda.
2.  Tandai passage yang menjawab setiap pertanyaan.
3.  Ukur retrieval lebih dulu: apakah passage yang benar ada di 10 teratas? Bandingkan keyword saja, embedding saja, dan hybrid, dengan dan tanpa normalisasi.
4.  Lalu ukur jawabannya: benar, bersitasi, dan “tidak ditemukan” ketika jawabannya memang tidak ada.
5.  Sertakan query salah eja dan berdialek dengan sengaja. Pengguna menulis “وين الفاتوره” (Teluk/Levant: di mana fakturnya), bukan “أين الفاتورة”.

Perbaiki retrieval sebelum Anda mengganti model generation: jika passage yang benar tidak pernah sampai ke prompt, tidak ada model yang bisa menyitirnya.

Alat gratis untuk topik ini (bahasa Inggris)

-   [Arabic token counter](https://broadrouter.com/tools/arabic-token-counter/) Arabic vs English token counts per tokenizer: the "Arabic tax" in tokens and money.
-   [Arabic text normalizer](https://broadrouter.com/tools/arabic-text-normalizer/) Tashkeel, tatweel, alef, ya, ta marbuta, digits and invisible characters, with a matching Python function.
-   [Speech-to-text cost calculator](https://broadrouter.com/tools/speech-to-text-cost-calculator/) Hours, calls or voice notes to a monthly transcription bill, against your current provider.

[Alat gratis (bahasa Inggris)](https://broadrouter.com/tools/)

## Istilah dalam artikel ini

[Embeddings (vektor embedding)](https://broadrouter.com/id/glossary/embeddings/)

Embeddings adalah daftar angka floating-point (vektor) yang dihasilkan model untuk merepresentasikan sepotong teks, gambar, atau input lain. Input dengan makna serupa mendapat vektor yang berdekatan, sehingga jarak antarvektor bisa dipakai untuk mengurutkan hasil pencarian, mengelompokkan dokumen, atau menemukan item terkait.

[RAG (retrieval-augmented generation)](https://broadrouter.com/id/glossary/rag/)

RAG (retrieval-augmented generation) adalah pola di mana aplikasi lebih dulu mengambil bagian teks yang relevan dengan pertanyaan dari penyimpanan eksternal, seperti indeks pencarian atau indeks vektor, lalu menambahkannya ke prompt agar model bahasa bisa menjawab berdasarkan teks itu, bukan hanya dari ingatannya.

[Chunking (RAG)](https://broadrouter.com/id/glossary/chunking/)

Chunking adalah langkah dalam pipeline retrieval yang memecah dokumen menjadi potongan lebih kecil, disebut chunk, sebelum di-embed dan diindeks. Chunk size menentukan berapa banyak teks di setiap potongan, dan chunk overlap mengulang sebagian teks di antara chunk yang berdekatan agar gagasan yang terpotong di batas tidak hilang.

[Token](https://broadrouter.com/id/glossary/token/)

Token adalah satuan teks yang dibaca dan ditulis model bahasa: sebuah kata, bagian kata, tanda baca, atau urutan byte yang dihasilkan tokenizer model. API LLM menghitung, membatasi, dan biasanya menagih pemakaian dalam token.

[Tool calling (function calling)](https://broadrouter.com/id/glossary/tool-calling/)

Tool calling, disebut juga function calling, adalah fitur API LLM di mana model mengembalikan permintaan terstruktur untuk menjalankan fungsi yang didefinisikan developer, lengkap dengan argumen JSON. Aplikasi yang menjalankan fungsi itu dan mengirim hasilnya kembali; model tidak pernah menjalankan kode sendiri.

[Harakat bahasa Arab (tashkeel)](https://broadrouter.com/id/glossary/arabic-diacritics/)

Harakat bahasa Arab, atau tashkeel, adalah tanda kecil di atas atau di bawah huruf yang menunjukkan vokal pendek, konsonan ganda, dan ketiadaan vokal. Tanda ini opsional: sebagian besar teks Arab, termasuk berita, tidak memakainya, sehingga pembaca dan perangkat lunak menebak vokal dari konteks.

[Reranking (pemeringkatan ulang)](https://broadrouter.com/id/glossary/reranking/)

Reranking adalah tahap retrieval kedua di mana model yang lebih akurat tetapi lebih lambat, biasanya cross-encoder, menilai setiap pasangan query dan dokumen kandidat dari pencarian tahap pertama lalu mengurutkannya ulang, sehingga hanya beberapa yang paling relevan diteruskan ke model bahasa.

[Token input cache (cached input tokens)](https://broadrouter.com/id/glossary/cached-input-tokens/)

Token input cache adalah token prompt yang baru saja diproses penyedia LLM dan bisa dipakai ulang dari cache alih-alih dihitung lagi, biasanya prefiks berulang seperti system prompt atau dokumen. Penyedia menagihnya dengan tarif lebih rendah daripada token input baru.

## Pertanyaan umum

### Apakah BroadNet Inference menyediakan embedding?

Tidak. Endpoint yang didokumentasikannya adalah chat completions dan transkripsi audio. Pakai model embedding dari penyedia lain atau jalankan sendiri model embedding multibahasa yang open, lalu pakai BroadNet untuk langkah generation.

### Apakah ta marbuta sebaiknya dinormalisasi menjadi ha?

Untuk pencarian, biasanya ya, karena pengguna mengetik keduanya. Ini menggabungkan beberapa kata yang berbeda, tetapi di sebagian besar korpus peningkatan recall lebih besar daripada kerugiannya. Simpan teks asli untuk tampilan dan sitasi.

### Seberapa besar chunk bahasa Arab sebaiknya?

Mulailah dengan satu sampai tiga paragraf, beberapa ratus kata, dengan sedikit overlap. Potong di heading dan jeda paragraf, bukan di tengah kalimat, dan sertakan judul dokumen di setiap chunk.

### Model embedding mana yang cocok untuk bahasa Arab?

Pakai model multibahasa dan uji dengan query bahasa Arab Anda sendiri. BGE M3, misalnya, disebut oleh penulisnya mendukung retrieval dalam lebih dari 100 bahasa kerja. Model embedding yang hanya berbahasa Inggris menghasilkan vektor bahasa Arab yang buruk.

### Bisakah pengguna mencari dalam bahasa Inggris dan menemukan dokumen berbahasa Arab?

Bisa, dengan model embedding multibahasa yang memetakan kedua bahasa ke satu ruang, atau dengan menerjemahkan query memakai LLM sebelum keyword search. Uji query lintas bahasa secara khusus.

## Baca juga

-   [Long context vs RAG: kapan 1M token menggantikan vector database](https://broadrouter.com/id/blog/long-context-vs-rag/)
-   [Word error rate (WER) ASR bahasa Arab: penjelasan lengkap](https://broadrouter.com/id/blog/arabic-asr-wer-explained/)
-   [Prompt engineering bahasa Arab: register, RTL, angka, teks campuran](https://broadrouter.com/id/blog/arabic-prompt-engineering/)
-   [Memilih API LLM untuk bahasa Arab: apa yang perlu diuji](https://broadrouter.com/id/blog/choosing-an-llm-for-arabic/)
-   [Menambahkan harakat ke teks Arab dengan LLM: prompt, cek, DER](https://broadrouter.com/id/blog/arabic-diacritization-llm/)
-   [Koreksi tata bahasa dan ejaan Arab dengan LLM: panduan praktis](https://broadrouter.com/id/blog/arabic-grammar-spelling-correction-llm/)
-   [Panduan: Memakai LangChain dengan BroadNet Inference](https://broadrouter.com/id/guides/langchain-openai-base-url/)
-   [Panduan: Memakai OpenAI Python SDK dengan BroadNet Inference](https://broadrouter.com/id/guides/openai-python-sdk/)

Coba dengan beban kerja Anda yang sebenarnya. Akun baru mendapat kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM, dan Qwen3.8 memerlukan top up.

[Mulai](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-blog-arabic-rag-search&utm_content=page-cta) ·

**Sumber**

-   [Lewis dkk., Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (arXiv 2005.11401; diakses 2026-11-14)](https://arxiv.org/abs/2005.11401)
-   [Chen dkk., M3-Embedding: lebih dari 100 bahasa kerja (arXiv 2402.03216; diakses 2026-11-14)](https://arxiv.org/abs/2402.03216)
-   [Language analyzer Elasticsearch, filter analyzer arabic (diakses 2026-11-14)](https://www.elastic.co/guide/en/elasticsearch/reference/current/analysis-lang-analyzer.html)
-   [Tabel kode Arab Unicode, U+0600 sampai U+06FF (diakses 2026-11-14)](https://www.unicode.org/charts/PDF/U0600.pdf)
-   [Referensi API BroadNet Inference, endpoint yang tersedia (diakses 2026-11-14) (bahasa Inggris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-blog-arabic-rag-search&utm_content=sources)
