Untuk menjadikan retrieval-augmented generation (RAG) berkesan pada bahasa Arab, normalkan dokumen dan pertanyaan dengan peraturan ejaan yang sama, pecahkan teks mengikut perenggan, cari dengan penganalisis kata kunci bahasa Arab dan model embedding berbilang bahasa, dan minta LLM menjawab hanya daripada petikan yang diperoleh, dengan petikan sumber.
Corak daripada kertas RAG asal ialah ambil (retrieve), kemudian jana (generate). Kebanyakan kegagalan RAG bahasa Arab berlaku pada separuh pertama. Pengguna menaip “الفاتوره” tetapi indeks menyimpan “الفاتورة”; polisi menyebut “إلغاء” tetapi pengguna menulis “الغاء”; model embedding kebanyakannya dilatih dalam bahasa Inggeris. Betulkan carian dan bahagian LLM biasanya akan beres dengan sendirinya.
Bagaimanakah rupa saluran RAG bahasa Arab?
- Ekstrak teks daripada PDF, halaman web dan artikel pusat bantuan. Untuk PDF bahasa Arab yang diimbas, lihat OCR bahasa Arab vs LLM visi.
- Normalkan satu salinan teks untuk pengindeksan.
- Pecahkan (chunk) mengikut struktur: tajuk dan perenggan.
- Indeks dua kali: indeks kata kunci dan indeks vektor.
- Ambil daripada kedua-duanya dengan pertanyaan yang dinormalkan, gabungkan dan susun semula.
- Jana jawapan daripada petikan teratas, dengan merujuk petikan itu.
Bagaimanakah teks Arab patut dinormalkan untuk carian?
Bahasa Arab membenarkan beberapa ejaan bagi perkataan yang sama, dan pengguna jarang menaip baris atau hamzah secara konsisten. Normalkan salinan yang diindeks dan setiap pertanyaan dengan fungsi yang sama:
| Peraturan | Aksara | Mengapa |
|---|---|---|
| Seragamkan alif | أ إ آ ٱ → ا | Hamzah sering ditinggalkan semasa menaip |
| Alif maqsura | ى → ي | Lazim dalam taipan Mesir dan ejaan longgar |
| Ta marbuta | ة → ه | Pengguna menaip ه di hujung perkataan |
| Buang baris | U+064B hingga U+0652, U+0670 | Kebanyakan teks dan pertanyaan tidak berbaris |
| Buang tatweel | ـ (U+0640) | Pemanjangan hiasan |
| Digit | ٠–٩ → 0–9 | Padankan nombor dalam mana-mana bentuk |
Cuba setiap pilihan pada teks anda sendiri dengan penormal teks Arab, yang turut menulis fungsi Python yang sepadan.
import re
_DIAC = re.compile(r"[ً-ْٰ]")
def normalise(text: str) -> str:
text = _DIAC.sub("", text).replace("ـ", "")
text = re.sub("[أإآٱ]", "ا", text)
text = text.replace("ى", "ي").replace("ة", "ه")
return text.translate(str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789"))
Titik kod terdapat dalam carta Unicode Arabic. Dua amaran:
- Jangan sekali-kali paparkan teks yang dinormalkan. Simpan teks asal di sebelahnya dan paparkan, rujuk serta hantar teks asal kepada LLM. Bahasa Arab yang dinormalkan kelihatan salah eja kepada pembaca.
- Sesetengah penggabungan menghilangkan makna. ة → ه menggabungkan beberapa pasangan perkataan, dan ى → ي menggabungkan “على” (di atas) dengan “علي” (Ali). Untuk recall carian, pertukaran itu biasanya berbaloi; ujilah pada pertanyaan anda sendiri.
Peraturan yang sama juga teras kepada pengukuran ketepatan pengecaman pertuturan bahasa Arab, jadi anda boleh guna semula satu fungsi di seluruh sistem anda.
Bagaimanakah dokumen bahasa Arab patut dipecahkan?
- Pecahkan mengikut struktur. Tajuk, perkara bernombor dalam kontrak (المادة ١، المادة ٢) dan pemisah perenggan ialah sempadan semula jadi.
- Beberapa ratus perkataan setiap chunk, dengan pertindihan satu atau dua ayat. Perkataan Arab membawa lebih banyak morfem berbanding perkataan Inggeris, jadi satu chunk meliputi lebih banyak makna setiap perkataan daripada yang ditunjukkan oleh panjangnya.
- Sempadan ayat: pecahkan pada . ؟ ! dan koma Arab ، hanya sebagai pilihan terakhir. Banyak teks Arab menggunakan ayat panjang yang disambung dengan و, jadi pemecahan peringkat perenggan lebih selamat.
- Bawa konteks. Letakkan tajuk dokumen dan tajuk bahagian di hadapan setiap chunk, dalam bahasa Arab, supaya chunk yang berbunyi “تُطبَّق هذه الرسوم” (yuran ini dikenakan) masih menyatakan yuran yang mana.
Kalkulator chunking RAG menukar saiz chunk, pertindihan dan top-k kepada bilangan chunk, token setiap pertanyaan dan kos bulanan.
Mengapakah carian kata kunci dan embedding perlu digabungkan?
Carian kata kunci
Morfologi bahasa Arab mengalahkan padanan kata kunci yang naif: كتاب, الكتاب, بالكتاب, وكتابه dan كتب semuanya berkaitan dengan “buku”. Gunakan penganalisis yang mengendalikan bahasa Arab. Elasticsearch menyertakan penganalisis bahasa Arab yang merangkaikan kata henti Arab, penormalan digit, penormalan Arab dan pemangkas (stemmer) Arab, jadi bentuk berawalan seperti الكتاب dan وكتاب lebih kerap sepadan. Semak apa yang digabungkannya pada kosa kata anda sendiri sebelum bergantung padanya.
Embedding
Model embedding memetakan teks kepada vektor supaya petikan dengan makna serupa berada berdekatan, walaupun tiada perkataan yang sama. Untuk bahasa Arab, pilih model berbilang bahasa dan ujinya:
- Utamakan model yang dilatih dalam banyak bahasa, seperti BGE M3, yang menurut pengarangnya menyokong lebih 100 bahasa kerja. Model bahasa Inggeris sahaja memberi vektor bahasa Arab yang lemah.
- Uji carian rentas bahasa jika pengguna bertanya dalam bahasa Inggeris tentang dokumen bahasa Arab, atau sebaliknya.
- Buat embedding teks asal atau teks yang dinormalkan, tetapi konsisten antara dokumen dan pertanyaan. Uji kedua-duanya; hasil berbeza mengikut model.
BroadNet Inference tidak menawarkan endpoint embedding: endpoint yang didokumenkan ialah chat completions dan audio transcriptions. Gunakan penyedia embedding yang anda percayai, atau hos model embedding berbilang bahasa terbuka dalam pangkalan data vektor, dan gunakan BroadNet untuk penjanaan. Kalkulator kos embedding mengira harga pengindeksan dan pertanyaan merentasi penyedia.
Gabung dan susun semula
Jalankan kedua-dua carian, gabungkan hasil dengan reciprocal rank fusion (skor setiap dokumen dengan jumlah 1 / (k + kedudukan) merentasi senarai), dan simpan 10 hingga 30 petikan teratas. Penyusun semula (reranker) atau semakan relevan pantas dengan LLM boleh mengurangkannya lagi, tetapi dengan model konteks panjang anda selalunya boleh melangkaunya.
Bagaimanakah cara menjana jawapan dengan petikan sumber?
Berikan model petikan beserta id dan minta ia menjawab hanya daripadanya:
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
def answer(question: str, passages: list[dict]) -> str:
context = "\n\n".join(f"[{p['id']}] {p['title']}\n{p['text']}" for p in passages)
system = ("أجب عن سؤال المستخدم بالعربية الفصحى المبسطة، اعتماداً فقط على المقاطع المرفقة. "
"اذكر رقم المقطع بين قوسين مربعين بعد كل معلومة. "
"إذا لم تجد الإجابة في المقاطع فقل ذلك بوضوح.")
r = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash",
max_tokens=4000,
messages=[{"role": "system", "content": system},
{"role": "user", "content": f"المقاطع:\n{context}\n\nالسؤال: {question}"}],
)
return r.choices[0].message.content
Prompt sistem bahasa Arab itu bermaksud: “Jawab soalan pengguna dalam bahasa Arab Standard Moden yang mudah, berdasarkan petikan yang dilampirkan sahaja. Nyatakan nombor petikan dalam kurungan siku selepas setiap maklumat. Jika anda tidak menemui jawapan dalam petikan, katakan dengan jelas.” Arahan dalam bahasa Inggeris juga berfungsi sama baik; yang penting ialah peraturan untuk menjawab hanya daripada petikan dan merujuk sumber.
Letakkan petikan sebelum soalan. Jika dokumen yang sama muncul dalam banyak permintaan, kekalkan susunannya di permulaan prompt supaya harga input cache terpakai; lihat token input cache.
Model yang mana?
| Model | Konteks | Mengapa |
|---|---|---|
| DeepSeek V4.1 Flash | 1,048,576 | Kadar input cache paling rendah antara ketiga-tiga ini di BroadNet ($0.0055 setiap 1M token), ruang untuk banyak petikan, pelan kadar tetap tersedia |
| GLM 5.3 | 1,048,576 | Tools dan output berstruktur untuk carian agentik |
| Qwen3.8 27B | 262,144 | BroadNet mengujinya dalam bahasa Arab: penulisan fasih, dialek Teluk dan Mesir difahami |
Dengan konteks sejuta token, anda boleh mengambil banyak petikan, katakan 50 dan bukannya 5, dan biarkan model memilih. Ini mengurangkan kerosakan apabila carian meletakkan petikan yang betul di kedudukan ke-12. Untuk set dokumen kecil, anda mungkin tidak memerlukan carian langsung; lihat konteks panjang vs RAG dan semak sama ada korpus anda muat dengan kalkulator tetingkap konteks. Harga semua model ada di halaman harga.
Bagaimanakah cara menilai RAG bahasa Arab?
- Tulis 50 hingga 100 soalan sebenar, dalam campuran MSA, dialek dan bahasa Inggeris yang benar-benar ditaip oleh pengguna anda.
- Tandakan petikan yang menjawab setiap soalan.
- Ukur carian dahulu: adakah petikan yang betul dalam 10 teratas? Bandingkan kata kunci sahaja, embedding sahaja dan hibrid, dengan dan tanpa penormalan.
- Kemudian ukur jawapan: betul, ada rujukan sumber, dan “tidak ditemui” apabila jawapan tiada.
- Sengaja sertakan pertanyaan yang salah eja dan dalam dialek. Pengguna menulis “وين الفاتوره” (Teluk/Levant: di mana invois), bukan “أين الفاتورة”.
Betulkan carian sebelum menukar model penjanaan: jika petikan yang betul tidak pernah sampai ke prompt, tiada model yang boleh merujuknya.

