Agar retrieval-augmented generation (RAG) berhasil untuk bahasa Arab, normalisasi dokumen dan query dengan aturan ejaan yang sama, lakukan chunking per paragraf, cari dengan analyzer keyword bahasa Arab sekaligus model embedding multibahasa, dan minta LLM menjawab hanya dari passage yang ditemukan, lengkap dengan sitasi.
Polanya, dari makalah RAG asli, adalah retrieve lalu generate. Sebagian besar kegagalan RAG bahasa Arab terjadi di paruh pertama. Pengguna mengetik “الفاتوره” sementara indeks menyimpan “الفاتورة”; sebuah kebijakan menulis “إلغاء” dan pengguna menulis “الغاء”; model embedding-nya sebagian besar dilatih dengan bahasa Inggris. Perbaiki retrieval, dan bagian LLM biasanya beres dengan sendirinya.
Seperti apa pipeline RAG bahasa Arab?
- Ekstrak teks dari PDF, halaman web, dan artikel pusat bantuan. Untuk PDF bahasa Arab hasil pindaian, lihat OCR bahasa Arab vs LLM vision.
- Normalisasi salinan teks untuk indexing.
- Chunking berdasarkan struktur: heading dan paragraf.
- Indeks dua kali: indeks keyword dan indeks vektor.
- Retrieve dari keduanya dengan query yang sudah dinormalisasi, lalu gabungkan dan rerank.
- Generate jawaban dari passage teratas, dengan menyitirnya.
Bagaimana menormalisasi teks Arab untuk pencarian?
Bahasa Arab mengizinkan beberapa ejaan untuk kata yang sama, dan pengguna jarang mengetik harakat atau hamzah secara konsisten. Normalisasi salinan yang diindeks dan setiap query dengan fungsi yang sama:
| Aturan | Karakter | Alasan |
|---|---|---|
| Satukan alif | أ إ آ ٱ → ا | Hamzah sering tidak diketik |
| Alif maqsura | ى → ي | Umum dalam pengetikan Mesir dan ejaan longgar |
| Ta marbuta | ة → ه | Pengguna mengetik ه di akhir kata |
| Hapus harakat | U+064B sampai U+0652, U+0670 | Sebagian besar teks dan query tanpa harakat |
| Hapus tatwil | ـ (U+0640) | Pemanjangan dekoratif |
| Digit | ٠–٩ → 0–9 | Agar angka cocok dalam bentuk mana pun |
Coba setiap opsi pada teks Anda sendiri dengan normalizer teks Arab, yang juga menuliskan fungsi Python yang sesuai.
import re
_DIAC = re.compile(r"[ً-ْٰ]")
def normalise(text: str) -> str:
text = _DIAC.sub("", text).replace("ـ", "")
text = re.sub("[أإآٱ]", "ا", text)
text = text.replace("ى", "ي").replace("ة", "ه")
return text.translate(str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789"))
Code point-nya ada di tabel Arab Unicode. Dua peringatan:
- Jangan pernah menampilkan teks yang dinormalisasi. Simpan teks asli di sebelahnya, lalu tampilkan, sitir, dan kirim teks asli ke LLM. Bahasa Arab yang dinormalisasi terlihat salah eja bagi pembaca.
- Beberapa penggabungan menghilangkan makna. ة → ه menggabungkan beberapa pasangan kata, dan ى → ي menggabungkan “على” (di atas) dengan “علي” (Ali). Demi recall pencarian, kompromi itu biasanya sepadan; uji dengan query Anda sendiri.
Aturan yang sama menjadi inti dari pengukuran akurasi speech recognition bahasa Arab, jadi Anda bisa memakai satu fungsi di seluruh stack.
Bagaimana melakukan chunking dokumen bahasa Arab?
- Potong berdasarkan struktur. Heading, pasal bernomor dalam kontrak (المادة ١، المادة ٢), dan jeda paragraf adalah batas alami.
- Beberapa ratus kata per chunk, dengan overlap satu atau dua kalimat. Kata Arab membawa lebih banyak morfem daripada kata Inggris, jadi satu chunk mencakup lebih banyak makna per kata daripada yang terlihat dari panjangnya.
- Batas kalimat: potong di . ؟ ! dan koma Arab ، hanya sebagai jalan terakhir. Banyak teks Arab memakai kalimat panjang yang disambung dengan و, jadi pemotongan per paragraf lebih aman.
- Bawa konteks. Awali setiap chunk dengan judul dokumen dan heading bagian, dalam bahasa Arab, agar chunk yang berbunyi “تُطبَّق هذه الرسوم” (biaya ini berlaku) tetap menyebut biaya yang mana.
Kalkulator chunking RAG mengubah ukuran chunk, overlap, dan top-k menjadi jumlah chunk, token per query, dan biaya bulanan.
Mengapa menggabungkan keyword search dan embedding?
Keyword search
Morfologi bahasa Arab mengalahkan pencocokan keyword yang naif: كتاب, الكتاب, بالكتاب, وكتابه, dan كتب semuanya berkaitan dengan “buku”. Pakai analyzer yang menangani bahasa Arab. Elasticsearch menyertakan analyzer bahasa Arab yang merangkai stop word Arab, normalisasi digit, normalisasi Arab, dan stemmer Arab, sehingga bentuk berprefiks seperti الكتاب dan وكتاب lebih sering cocok. Cek apa saja yang digabungkannya pada kosakata Anda sendiri sebelum mengandalkannya.
Embedding
Model embedding memetakan teks ke vektor sehingga passage dengan makna serupa berdekatan, bahkan tanpa kata yang sama. Untuk bahasa Arab, pilih model multibahasa dan ujilah:
- Utamakan model yang dilatih dengan banyak bahasa, seperti BGE M3, yang menurut penulisnya mendukung lebih dari 100 bahasa kerja. Model yang hanya berbahasa Inggris menghasilkan vektor bahasa Arab yang buruk.
- Uji retrieval lintas bahasa jika pengguna bertanya dalam bahasa Inggris tentang dokumen berbahasa Arab, atau sebaliknya.
- Buat embedding dari teks asli atau teks yang dinormalisasi, tetapi konsisten antara dokumen dan query. Uji keduanya; hasilnya berbeda per model.
BroadNet Inference tidak menyediakan endpoint embedding: endpoint yang didokumentasikannya adalah chat completions dan transkripsi audio. Pakai penyedia embedding yang Anda percaya, atau host sendiri model embedding multibahasa yang open di vector database, lalu pakai BroadNet untuk generation. Kalkulator biaya embedding menghitung harga indexing dan query di berbagai penyedia.
Gabungkan dan rerank
Jalankan kedua pencarian, gabungkan hasilnya dengan reciprocal rank fusion (beri skor setiap dokumen dengan jumlah 1 / (k + peringkat) di semua daftar), dan simpan 10 sampai 30 passage teratas. Reranker atau cek relevansi singkat dengan LLM bisa memangkasnya lagi, tetapi dengan model long-context Anda sering bisa melewatinya.
Bagaimana menghasilkan jawaban dengan sitasi?
Berikan passage beserta id-nya kepada model dan minta model menjawab hanya dari passage itu:
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
def answer(question: str, passages: list[dict]) -> str:
context = "\n\n".join(f"[{p['id']}] {p['title']}\n{p['text']}" for p in passages)
system = ("أجب عن سؤال المستخدم بالعربية الفصحى المبسطة، اعتماداً فقط على المقاطع المرفقة. "
"اذكر رقم المقطع بين قوسين مربعين بعد كل معلومة. "
"إذا لم تجد الإجابة في المقاطع فقل ذلك بوضوح.")
r = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash",
max_tokens=4000,
messages=[{"role": "system", "content": system},
{"role": "user", "content": f"المقاطع:\n{context}\n\nالسؤال: {question}"}],
)
return r.choices[0].message.content
System prompt berbahasa Arab itu berbunyi: “Jawab pertanyaan pengguna dalam bahasa Arab Standar Modern yang sederhana, hanya berdasarkan passage yang dilampirkan. Sebutkan nomor passage dalam kurung siku setelah setiap informasi. Jika jawabannya tidak ada di passage, katakan itu dengan jelas.” Instruksi berbahasa Inggris sama baiknya; yang penting adalah aturan untuk menjawab hanya dari passage dan menyertakan sitasi.
Taruh passage sebelum pertanyaan. Jika dokumen yang sama muncul di banyak permintaan, pertahankan urutannya di awal prompt agar harga input cache berlaku; lihat token input cache.
Model yang mana?
| Model | Konteks | Alasan |
|---|---|---|
| DeepSeek V4.1 Flash | 1.048.576 | Tarif input cache terendah di antara ketiganya di BroadNet ($0.0055 per 1 juta token), muat banyak passage, tersedia paket flat |
| GLM 5.3 | 1.048.576 | Tool dan output terstruktur untuk retrieval agentik |
| Qwen3.8 27B | 262.144 | Diuji BroadNet dalam bahasa Arab: tulisan fasih, memahami dialek Teluk dan Mesir |
Dengan konteks sejuta token, Anda bisa melakukan retrieval dengan longgar, misalnya 50 passage alih-alih 5, dan membiarkan model memilih. Itu mengurangi kerugian ketika retrieval menaruh passage yang benar di peringkat 12. Untuk kumpulan dokumen kecil, Anda mungkin sama sekali tidak perlu retrieval; lihat long context vs RAG dan cek apakah korpus Anda muat dengan kalkulator context window. Harga semua model ada di halaman harga.
Bagaimana mengevaluasi RAG bahasa Arab?
- Tulis 50 sampai 100 pertanyaan nyata, dengan campuran MSA, dialek, dan bahasa Inggris yang benar-benar diketik pengguna Anda.
- Tandai passage yang menjawab setiap pertanyaan.
- Ukur retrieval lebih dulu: apakah passage yang benar ada di 10 teratas? Bandingkan keyword saja, embedding saja, dan hybrid, dengan dan tanpa normalisasi.
- Lalu ukur jawabannya: benar, bersitasi, dan “tidak ditemukan” ketika jawabannya memang tidak ada.
- Sertakan query salah eja dan berdialek dengan sengaja. Pengguna menulis “وين الفاتوره” (Teluk/Levant: di mana fakturnya), bukan “أين الفاتورة”.
Perbaiki retrieval sebelum Anda mengganti model generation: jika passage yang benar tidak pernah sampai ke prompt, tidak ada model yang bisa menyitirnya.

