BroadRouter

RAG in arabo: normalizzazione, chunking e retrieval che funzionano

A cura del team di BroadNet Inference · 6 min di lettura · Pubblicato

La RAG in arabo funziona se normalizzi il testo prima dell’indicizzazione (unifichi le forme di alef, ya e alef maqsura, ta marbuta, togli diacritici e tatweel), dividi in chunk per paragrafo, combini un modello di embedding multilingue con la ricerca per parole chiave e lasci che un LLM a contesto lungo risponda dai passaggi recuperati, con citazioni. Applica la stessa normalizzazione alle query.

A man speaking into a microphone beside the Arabic word "حوار" (conversation), with the text "Conversations, ready to search."

Per far funzionare la retrieval-augmented generation (RAG) sull’arabo, normalizza documenti e query con le stesse regole di grafia, dividi in chunk per paragrafo, cerca sia con un analyzer arabo per parole chiave sia con un modello di embedding multilingue, e fai rispondere l’LLM solo a partire dai passaggi recuperati, con citazioni.

Lo schema, dall’articolo originale sulla RAG, è: prima recupera, poi genera. La maggior parte dei fallimenti della RAG in arabo avviene nella prima metà. Un utente scrive “الفاتوره” e l’indice contiene “الفاتورة”; una policy dice “إلغاء” e l’utente scrive “الغاء”; il modello di embedding è stato addestrato soprattutto sull’inglese. Sistema il retrieval e la parte dell’LLM tende a sistemarsi da sola.

Com’è fatta una pipeline RAG per l’arabo?

  1. Estrai il testo da PDF, pagine web e articoli del centro assistenza. Per i PDF arabi scansionati, vedi OCR arabo vs LLM con visione.
  2. Normalizza una copia del testo per l’indicizzazione.
  3. Dividi in chunk seguendo la struttura: titoli e paragrafi.
  4. Indicizza due volte: un indice per parole chiave e un indice vettoriale.
  5. Recupera da entrambi con la query normalizzata, unisci e riordina.
  6. Genera una risposta dai passaggi migliori, citandoli.

Come normalizzare il testo arabo per la ricerca?

L’arabo ammette più grafie della stessa parola, e gli utenti raramente scrivono diacritici o hamza in modo coerente. Normalizza la copia indicizzata e ogni query con la stessa funzione:

Regola Caratteri Perché
Unificare l’alef أ إ آ ٱ → ا Scrivendo, la hamza viene spesso omessa
Alef maqsura ى → ي Comune nella scrittura egiziana e nella grafia approssimativa
Ta marbuta ة → ه Gli utenti scrivono ه a fine parola
Togliere i diacritici da U+064B a U+0652, U+0670 La maggior parte di testi e query non è vocalizzata
Eliminare il tatweel ـ (U+0640) Allungamento decorativo
Cifre ٠–٩ → 0–9 Far corrispondere i numeri in entrambe le forme

Prova ogni opzione sul tuo testo con il normalizzatore di testo arabo, che scrive anche una funzione Python corrispondente.

import re

_DIAC = re.compile(r"[ً-ْٰ]")

def normalise(text: str) -> str:
    text = _DIAC.sub("", text).replace("ـ", "")
    text = re.sub("[أإآٱ]", "ا", text)
    text = text.replace("ى", "ي").replace("ة", "ه")
    return text.translate(str.maketrans("٠١٢٣٤٥٦٧٨٩", "0123456789"))

I code point sono nella tabella Unicode dell’arabo. Due avvertenze:

  • Non mostrare mai il testo normalizzato. Conserva l’originale accanto e usa l’originale per visualizzare, citare e inviare all’LLM. L’arabo normalizzato sembra scritto male a chi legge.
  • Alcune unificazioni perdono significato. ة → ه unisce alcune coppie di parole, e ى → ي unisce “على” (su) con “علي” (Ali). Per la recall della ricerca di solito ne vale la pena; testalo sulle tue query.

Le stesse regole sono centrali per misurare l’accuratezza del riconoscimento vocale in arabo, quindi puoi riusare un’unica funzione in tutto lo stack.

Come dividere in chunk i documenti in arabo?

  • Dividi seguendo la struttura. Titoli, articoli numerati nei contratti (المادة ١، المادة ٢) e cambi di paragrafo sono confini naturali.
  • Qualche centinaio di parole per chunk, con una o due frasi di sovrapposizione. Le parole arabe contengono più morfemi di quelle inglesi, quindi un chunk copre più significato per parola di quanto suggerisca la sua lunghezza.
  • Confini di frase: dividi su . ؟ ! e sulla virgola araba ، solo come ultima risorsa. Molti testi arabi usano frasi lunghe unite da و, quindi dividere a livello di paragrafo è più sicuro.
  • Porta con te il contesto. Fai precedere ogni chunk dal titolo del documento e dal titolo della sezione, in arabo, così un chunk che dice “تُطبَّق هذه الرسوم” (si applicano queste commissioni) dice ancora quali commissioni.

Il calcolatore di chunking per RAG trasforma dimensione dei chunk, sovrapposizione e top-k in numero di chunk, token per query e costo mensile.

Perché combinare ricerca per parole chiave ed embedding?

Ricerca per parole chiave

La morfologia araba manda in crisi il matching ingenuo per parole chiave: كتاب, الكتاب, بالكتاب, وكتابه e كتب sono tutte legate a “libro”. Usa un analyzer che gestisca l’arabo. Elasticsearch include un language analyzer per l’arabo che concatena stop word arabe, normalizzazione delle cifre, normalizzazione araba e uno stemmer arabo, così forme con prefisso come الكتاب e وكتاب corrispondono più spesso. Verifica cosa unisce sul tuo vocabolario prima di farci affidamento.

Embedding

I modelli di embedding trasformano il testo in vettori in modo che passaggi con significato simile stiano vicini, anche quando non condividono parole. Per l’arabo, scegli un modello multilingue e testalo:

  • Preferisci modelli addestrati su molte lingue, come BGE M3, che i suoi autori descrivono come capace di supportare più di 100 lingue di lavoro. I modelli solo inglesi producono vettori arabi scadenti.
  • Testa il retrieval tra lingue diverse se gli utenti fanno domande in inglese su documenti in arabo, o viceversa.
  • Fai l’embedding del testo originale o di quello normalizzato, ma sii coerente tra documenti e query. Testali entrambi; i risultati variano da modello a modello.

BroadNet Inference non offre un endpoint per gli embedding: i suoi endpoint documentati sono chat completions e trascrizioni audio. Usa un fornitore di embedding di cui ti fidi, oppure ospita un modello di embedding multilingue aperto con un database vettoriale, e usa BroadNet per la generazione. Il calcolatore dei costi di embedding stima il prezzo di indicizzazione e query tra i vari fornitori.

Unire e riordinare

Esegui entrambe le ricerche, unisci i risultati con la reciprocal rank fusion (assegna a ogni documento la somma di 1 / (k + posizione) tra le liste) e tieni i primi 10–30 passaggi. Un reranker o un rapido controllo di pertinenza con un LLM può sfoltire ancora, ma con i modelli a contesto lungo spesso puoi farne a meno.

Come generare risposte con citazioni?

Dai al modello i passaggi con un id e chiedigli di rispondere solo a partire da quelli:

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

def answer(question: str, passages: list[dict]) -> str:
    context = "\n\n".join(f"[{p['id']}] {p['title']}\n{p['text']}" for p in passages)
    system = ("أجب عن سؤال المستخدم بالعربية الفصحى المبسطة، اعتماداً فقط على المقاطع المرفقة. "
              "اذكر رقم المقطع بين قوسين مربعين بعد كل معلومة. "
              "إذا لم تجد الإجابة في المقاطع فقل ذلك بوضوح.")
    r = client.chat.completions.create(
        model="broadnet/deepseek-v4.1-flash",
        max_tokens=4000,
        messages=[{"role": "system", "content": system},
                  {"role": "user", "content": f"المقاطع:\n{context}\n\nالسؤال: {question}"}],
    )
    return r.choices[0].message.content

Il system prompt in arabo dice: “Rispondi alla domanda dell’utente in arabo standard moderno semplice, basandoti solo sui passaggi allegati. Cita il numero del passaggio tra parentesi quadre dopo ogni informazione. Se non trovi la risposta nei passaggi, dillo chiaramente.” Anche le istruzioni in inglese funzionano: ciò che conta è la regola di rispondere solo dai passaggi e di citare.

Metti i passaggi prima della domanda. Se gli stessi documenti compaiono in molte richieste, tienili nello stesso ordine all’inizio del prompt così si applica la tariffa dell’input in cache; vedi token di input in cache.

Quale modello?

Modello Contesto Perché
DeepSeek V4.1 Flash 1.048.576 La tariffa più bassa per l’input in cache tra questi tre su BroadNet ($0.0055 per 1M di token), spazio per molti passaggi, piani flat disponibili
GLM 5.3 1.048.576 Tool e output strutturato per il retrieval agentico
Qwen3.8 27B 262.144 BroadNet l’ha testato in arabo: scrittura fluente, dialetti del Golfo ed egiziano compresi

Con un contesto da un milione di token puoi recuperare in abbondanza, diciamo 50 passaggi invece di 5, e lasciare che sia il modello a scegliere. Questo limita i danni quando il retrieval mette il passaggio giusto al dodicesimo posto. Per piccoli insiemi di documenti potresti non aver bisogno del retrieval; vedi contesto lungo vs RAG e verifica se il tuo corpus ci sta con il calcolatore della finestra di contesto. I prezzi di tutti i modelli sono nella pagina dei prezzi.

Come valutare una RAG in arabo?

  1. Scrivi da 50 a 100 domande reali, nel mix di MSA, dialetto e inglese che i tuoi utenti scrivono davvero.
  2. Segna il passaggio che risponde a ciascuna.
  3. Misura prima il retrieval: il passaggio giusto è tra i primi 10? Confronta solo parole chiave, solo embedding e ricerca ibrida, con e senza normalizzazione.
  4. Poi misura le risposte: corrette, citate e “non trovato” quando la risposta manca.
  5. Includi apposta query con errori di battitura e in dialetto. Gli utenti scrivono “وين الفاتوره” (Golfo/Levante: dov’è la fattura), non “أين الفاتورة”.

Sistema il retrieval prima di cambiare il modello di generazione: se il passaggio giusto non arriva mai nel prompt, nessun modello può citarlo.

Domande frequenti

BroadNet Inference fornisce gli embedding?

No. Gli endpoint documentati sono chat completions e trascrizioni audio. Usa un modello di embedding di un altro fornitore o esegui tu stesso un modello di embedding multilingue aperto, e usa BroadNet per la fase di generazione.

Conviene normalizzare la ta marbuta in ha?

Per la ricerca di solito sì, perché gli utenti scrivono in entrambi i modi. Unisce alcune parole distinte, ma nella maggior parte dei corpus il guadagno di recall vale di più. Conserva il testo originale per la visualizzazione e le citazioni.

Quanto devono essere grandi i chunk in arabo?

Parti da uno a tre paragrafi, qualche centinaio di parole, con una piccola sovrapposizione. Dividi su titoli e cambi di paragrafo, non a metà frase, e tieni il titolo del documento in ogni chunk.

Quale modello di embedding funziona per l’arabo?

Usa un modello multilingue e testalo sulle tue query in arabo. BGE M3, per esempio, è descritto dai suoi autori come capace di retrieval in più di 100 lingue di lavoro. I modelli di embedding solo inglesi producono vettori arabi scadenti.

Gli utenti possono cercare in inglese e trovare documenti in arabo?

Sì, con un modello di embedding multilingue che mappa entrambe le lingue nello stesso spazio, oppure traducendo la query con un LLM prima della ricerca per parole chiave. Testa esplicitamente le query tra lingue diverse.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity