BroadRouter

Arabic RAG: normalisation, chunking at retrieval na gumagana

Ng BroadNet Inference team · 6 minutong basa · Nailathala

Gumagana ang Arabic RAG kapag na-normalise mo ang text bago i-index (pag-isahin ang mga anyo ng alef, ya at alef maqsura, ta marbuta, tanggalin ang diacritics at tatweel), nag-chunk ka kada paragraph, pinagsama mo ang multilingual embedding model at keyword search, at pinasagot mo ang long-context LLM mula sa mga nakuhang passage na may citation. Ilapat din ang parehong normalisation sa mga query.

A man speaking into a microphone beside the Arabic word "حوار" (conversation), with the text "Conversations, ready to search."

Para gumana ang retrieval-augmented generation (RAG) sa Arabic, i-normalise ang mga dokumento at query gamit ang parehong patakaran sa spelling, mag-chunk kada paragraph, mag-search gamit ang Arabic keyword analyzer at multilingual embedding model, at pasagutin ang LLM mula lang sa mga nakuhang passage, may kasamang citation.

Ang pattern mula sa orihinal na RAG paper: retrieve, saka generate. Sa unang kalahati nangyayari ang karamihan ng pagkabigo ng Arabic RAG. “الفاتوره” ang tina-type ng user pero “الفاتورة” ang nasa index; “إلغاء” ang nakasulat sa policy pero “الغاء” ang isinulat ng user; halos English ang training ng embedding model. Ayusin ang retrieval at kadalasang aayos na rin ang bahagi ng LLM.

Ano ang itsura ng isang Arabic RAG pipeline?

  1. I-extract ang text mula sa mga PDF, web page at help-centre na artikulo. Para sa mga na-scan na Arabic PDF, tingnan ang Arabic OCR vs vision LLM.
  2. I-normalise ang isang kopya ng text para sa pag-index.
  3. I-chunk ayon sa istruktura: mga heading at paragraph.
  4. I-index nang dalawang beses: keyword index at vector index.
  5. I-retrieve mula sa dalawa gamit ang normalised na query, pagsamahin at i-rerank.
  6. I-generate ang sagot mula sa mga nangungunang passage, na may citation sa mga ito.

Pinapayagan ng Arabic ang ilang spelling ng iisang salita, at bihirang mag-type nang consistent ang mga user ng diacritics o hamza. I-normalise ang naka-index na kopya at bawat query gamit ang iisang function:

Patakaran Mga character Bakit
Pag-isahin ang alef أ إ آ ٱ → ا Madalas nilalaktawan ang hamza sa pag-type
Alef maqsura ى → ي Karaniwan sa Egyptian na pag-type at maluwag na spelling
Ta marbuta ة → ه ه ang tina-type ng mga user sa dulo ng salita
Tanggalin ang diacritics U+064B hanggang U+0652, U+0670 Walang patinig ang karamihan ng text at query
Alisin ang tatweel ـ (U+0640) Pandekorasyong pagpapahaba
Mga digit ٠–٩ → 0–9 Mag-match ng numero sa alinmang anyo

Subukan ang bawat opsyon sa sarili mong text gamit ang Arabic text normalizer, na sumusulat din ng katugmang Python function.

import re

_DIAC = re.compile(r"[ً-ْٰ]")

def normalise(text: str) -> str:
    text = _DIAC.sub("", text).replace("ـ", "")
    text = re.sub("[أإآٱ]", "ا", text)
    text = text.replace("ى", "ي").replace("ة", "ه")
    return text.translate(str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789"))

Nasa Unicode Arabic chart ang mga code point. Dalawang paalala:

  • Huwag kailanman ipakita ang normalised na text. Itago ang orihinal sa tabi nito, at ang orihinal ang i-display, i-cite at ipadala sa LLM. Mukhang mali-mali ang spelling ng normalised na Arabic sa mga mambabasa.
  • May mga pagsasamang nagpapawala ng kahulugan. Pinagsasama ng ة → ه ang ilang pares ng salita, at pinagsasama ng ى → ي ang “على” (sa ibabaw) at “علي” (Ali). Para sa search recall, kadalasang sulit ang palitang iyan; i-test ito sa sarili mong mga query.

Sentral din ang parehong mga patakaran sa pagsukat ng accuracy ng Arabic speech recognition, kaya puwede mong gamitin ang iisang function sa buong stack mo.

Paano dapat i-chunk ang mga Arabic na dokumento?

  • Hatiin ayon sa istruktura. Natural na hangganan ang mga heading, ang mga numbered na artikulo sa kontrata (المادة ١، المادة ٢) at ang mga paragraph break.
  • Ilang daang salita kada chunk, na may isa o dalawang pangungusap na overlap. Mas maraming morpheme ang dala ng isang Arabic na salita kaysa sa English, kaya mas maraming kahulugan ang sakop ng isang chunk kada salita kaysa sa ipinapahiwatig ng haba nito.
  • Hangganan ng pangungusap: hatiin sa . ؟ ! at sa Arabic comma ، bilang huling paraan lang. Maraming Arabic text ang gumagamit ng mahahabang pangungusap na pinagdudugtong ng و, kaya mas ligtas ang paghahati kada paragraph.
  • Magdala ng context. Lagyan ang bawat chunk sa unahan ng pamagat ng dokumento at heading ng section, sa Arabic, para ang chunk na nagsasabing “تُطبَّق هذه الرسوم” (ilalapat ang mga bayaring ito) ay nagsasabi pa rin kung aling mga bayarin.

Ginagawa ng RAG chunking calculator ang chunk size, overlap at top-k na bilang ng chunk, token kada query at buwanang gastos.

Bakit pagsasamahin ang keyword search at embeddings?

Tinatalo ng Arabic morphology ang simpleng keyword matching: lahat ng كتاب, الكتاب, بالكتاب, وكتابه at كتب ay may kinalaman sa “aklat”. Gumamit ng analyzer na kayang humawak ng Arabic. May kasamang Arabic language analyzer ang Elasticsearch na pinagdudugtong ang Arabic stop words, digit normalisation, Arabic normalisation at isang Arabic stemmer, kaya mas madalas mag-match ang mga anyong may prefix gaya ng الكتاب at وكتاب. Suriin kung ano ang pinagsasama nito sa sarili mong bokabularyo bago ka umasa rito.

Embeddings

Ginagawang vector ng mga embedding model ang text para magkalapit ang mga passage na magkahawig ang kahulugan, kahit walang parehong salita. Para sa Arabic, pumili ng multilingual na model at i-test ito:

  • Piliin ang mga model na sinanay sa maraming wika, gaya ng BGE M3, na ayon sa mga gumawa nito ay sumusuporta sa higit 100 working language. Mahina ang mga Arabic vector ng mga English-only na model.
  • I-test ang cross-language retrieval kung nagtatanong ang mga user sa English tungkol sa mga Arabic na dokumento, o baligtad.
  • I-embed ang orihinal o ang normalised na text, pero maging consistent sa pagitan ng mga dokumento at query. I-test ang dalawa; nag-iiba ang resulta ayon sa model.

Walang embeddings endpoint ang BroadNet Inference: chat completions at audio transcriptions ang mga naka-dokumentong endpoint nito. Gumamit ng embedding provider na pinagkakatiwalaan mo, o mag-host ng open multilingual embedding model sa isang vector database, at gamitin ang BroadNet para sa generation. Kinukuwenta ng embedding cost calculator ang presyo ng indexing at query sa iba’t ibang provider.

Pagsamahin at i-rerank

Patakbuhin ang dalawang search, pagsamahin ang resulta gamit ang reciprocal rank fusion (i-score ang bawat dokumento sa kabuuan ng 1 / (k + rank) sa lahat ng listahan), at itago ang nangungunang 10 hanggang 30 passage. Puwede pa itong bawasan ng isang reranker o mabilis na relevance check gamit ang LLM, pero sa mga long-context model, madalas puwede mo na itong laktawan.

Paano gumawa ng sagot na may citation?

Ibigay sa model ang mga passage na may id at sabihing sumagot mula lang sa mga ito:

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

def answer(question: str, passages: list[dict]) -> str:
    context = "\n\n".join(f"[{p['id']}] {p['title']}\n{p['text']}" for p in passages)
    system = ("أجب عن سؤال المستخدم بالعربية الفصحى المبسطة، اعتماداً فقط على المقاطع المرفقة. "
              "اذكر رقم المقطع بين قوسين مربعين بعد كل معلومة. "
              "إذا لم تجد الإجابة في المقاطع فقل ذلك بوضوح.")
    r = client.chat.completions.create(
        model="broadnet/deepseek-v4.1-flash",
        max_tokens=4000,
        messages=[{"role": "system", "content": system},
                  {"role": "user", "content": f"المقاطع:\n{context}\n\nالسؤال: {question}"}],
    )
    return r.choices[0].message.content

Ang sinasabi ng Arabic na system prompt: “Sagutin ang tanong ng user sa simpleng Modern Standard Arabic, batay lang sa mga kalakip na passage. Ilagay ang numero ng passage sa square bracket pagkatapos ng bawat impormasyon. Kung hindi mo makita ang sagot sa mga passage, sabihin ito nang malinaw.” Gumagana rin nang kasinghusay ang mga English na instruction; ang mahalaga ay ang patakarang sumagot mula lang sa mga passage at mag-cite.

Ilagay ang mga passage bago ang tanong. Kung lumalabas ang parehong mga dokumento sa maraming request, panatilihin sila sa parehong pagkakasunod sa simula ng prompt para mailapat ang presyo ng cached input; tingnan ang cached input tokens.

Aling model?

Model Context Bakit
DeepSeek V4.1 Flash 1,048,576 Pinakamababang cached-input rate sa tatlong ito sa BroadNet ($0.0055 kada 1M token), may espasyo para sa maraming passage, may flat na plan
GLM 5.3 1,048,576 Tools at structured output para sa agentic retrieval
Qwen3.8 27B 262,144 Sinubok ito ng BroadNet sa Arabic: matatas sumulat, naiintindihan ang mga Gulf at Egyptian dialect

Sa context na isang milyong token, puwede kang kumuha ng maraming passage, halimbawa 50 sa halip na 5, at hayaang pumili ang model. Nababawasan nito ang pinsala kapag pang-12 ang ranggo ng tamang passage sa retrieval. Para sa maliliit na set ng dokumento, baka hindi mo na kailangan ng retrieval; tingnan ang long context vs RAG at alamin kung kasya ang corpus mo gamit ang context window calculator. Nasa pricing page ang presyo ng lahat ng model.

Paano i-evaluate ang Arabic RAG?

  1. Sumulat ng 50 hanggang 100 totoong tanong, sa halo ng MSA, dialect at English na talagang tina-type ng mga user mo.
  2. Markahan ang passage na sumasagot sa bawat isa.
  3. Sukatin muna ang retrieval: nasa top 10 ba ang tamang passage? Ikumpara ang keyword lang, embeddings lang at hybrid, may normalisation at wala.
  4. Saka sukatin ang mga sagot: tama, may citation, at “hindi nakita” kapag wala ang sagot.
  5. Sadyang isama ang mga query na mali ang spelling at naka-dialect. “وين الفاتوره” (Gulf/Levantine: nasaan ang invoice) ang isinusulat ng mga user, hindi “أين الفاتورة”.

Ayusin ang retrieval bago palitan ang generation model: kung hindi kailanman umaabot sa prompt ang tamang passage, walang model na makakapag-cite nito.

Mga tanong

May embeddings ba ang BroadNet Inference?

Wala. Chat completions at audio transcriptions ang mga naka-dokumentong endpoint nito. Gumamit ng embedding model mula sa ibang provider o patakbuhin mo mismo ang isang open multilingual embedding model, at gamitin ang BroadNet para sa generation step.

Dapat ko bang i-normalise ang ta marbuta papuntang ha?

Para sa search, kadalasan oo, dahil pareho itong tina-type ng mga user. Napagsasama nito ang ilang magkaibang salita, pero sa karamihan ng corpus mas malaki ang pakinabang sa recall. Itago ang orihinal na text para sa display at citation.

Gaano kalaki dapat ang mga Arabic chunk?

Magsimula sa isa hanggang tatlong paragraph, ilang daang salita, na may kaunting overlap. Hatiin sa mga heading at paragraph break, hindi sa gitna ng pangungusap, at isama ang pamagat ng dokumento sa bawat chunk.

Aling embedding model ang gumagana para sa Arabic?

Gumamit ng multilingual na model at i-test ito sa sarili mong mga Arabic na query. Halimbawa, inilalarawan ng mga gumawa ng BGE M3 na sinusuportahan nito ang retrieval sa higit 100 working language. Mahina ang mga Arabic vector ng mga English-only na embedding model.

Puwede bang mag-search ang mga user sa English at makahanap ng mga Arabic na dokumento?

Oo, gamit ang multilingual embedding model na naglalagay sa dalawang wika sa iisang space, o sa pag-translate ng query gamit ang LLM bago ang keyword search. Tahasang i-test ang mga cross-language na query.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity