L’Arabizi, detto anche franco-arabo o “Franco”, è arabo scritto in caratteri latini con cifre per i suoni che l’alfabeto latino non ha, come 3 per ع e 7 per ح. Per gestirlo con un LLM, rilevalo, fai convertire al modello il testo in caratteri arabi indicando il dialetto ed esegui il resto della pipeline sul testo arabo.
“ana 3ayez a7gez ma3ad bokra” è un normale messaggio di un cliente in Egitto: “أنا عايز أحجز ميعاد بكرة” (voglio prenotare un appuntamento per domani). È nato su telefoni e computer senza tastiera araba e compare ancora nelle chat.
Quali numeri stanno per quali lettere arabe?
Non esiste uno standard, ma le cifre si usano per lettere arabe che somigliano loro o che non hanno un equivalente latino. La panoramica sull’alfabeto chat arabo elenca le convenzioni comuni:
| Cifra | Lettera araba | Esempio | Caratteri arabi | Significato |
|---|---|---|---|---|
| 2 | ء (hamza) / أ | so2al | سؤال | domanda |
| 3 | ع | 3arabi | عربي | arabo |
| 3’ o 8 | غ | 8aly / 3’aly | غالي | caro |
| 5 o kh | خ | 5alas | خلاص | fatto / basta |
| 6 | ط | 6ayeb | طيب | OK (Golfo) |
| 7 | ح | 7abibi | حبيبي | caro mio |
| 9 | ص | 9ba7 | صباح | mattina (Golfo) |
| 8 | ق (in alcune regioni) | 8alb | قلب | cuore |
Le abitudini regionali cambiano. La panoramica osserva, per esempio, che 8 per غ si usa solo in Libano, mentre 8 e 9 per ق sono comuni in Arabia Saudita; nell’Arabizi egiziano, 2 può stare per ق dove si pronuncia come colpo di glottide. Le vocali si scrivono a orecchio, quindi “ma3lesh”, “ma3lsh” e “m3lsh” (معلش, non importa) sono tutti la stessa parola.
Perché l’Arabizi è difficile per il software?
- È quasi sempre dialetto. Le persone scrivono l’Arabizi come parlano, quindi porta con sé tutte le difficoltà dei dialetti insieme, senza caratteri arabi a fare da ancora.
- Sembra inglese o francese. “bas” è بس (ma / solo) in arabo e nulla in inglese; “men” è من (da / chi). I rilevatori di parole chiave e gli strumenti di identificazione della lingua spesso etichettano l’Arabizi come inglese o come un’altra lingua in caratteri latini.
- Nessuna grafia standard. Ricerca per corrispondenza esatta, regole sugli intenti e analisi si rompono.
- Code-switching. “el order bta3i lessa ma waslsh, can u check?” mescola Arabizi egiziano e inglese nella stessa frase.
I convertitori basati su regole faticano perché una stringa latina può corrispondere a molte grafie arabe; sistemi di ricerca come il lavoro di Darwish su rilevamento e conversione dell’Arabizi combinavano il mining di traslitterazioni con un modello linguistico per scegliere la parola giusta, e riportavano un’accuratezza di conversione dell’88,7%. Gli LLM moderni di fatto lo fanno in un solo passaggio.
Quanto bene gestiscono l’Arabizi gli LLM?
I modelli grandi hanno visto l’Arabizi nei testi del web e dei social, quindi spesso capiscono le frasi comuni. I risultati variano per modello e dialetto, quindi fai dei test prima di farci affidamento. Errori tipici:
- Trattarlo come inglese e rispondere a un messaggio frainteso.
- Convertirlo nel dialetto sbagliato, per esempio “trasformando” l’egiziano in parole MSA che cambiano il tono, o supponendo il Golfo quando l’utente è libanese.
- Alfabeto di output incoerente, rispondendo in Arabizi a un messaggio e in caratteri arabi al successivo.
- Precisione allucinata su nomi e luoghi, dove la grafia latina è ambigua.
La soluzione è la stessa dei dialetti in generale: di’ al modello cosa aspettarsi e cosa produrre.
Come si converte l’Arabizi in caratteri arabi con un LLM?
Prima converti l’Arabizi in caratteri arabi, poi esegui il resto della pipeline (ricerca, instradamento, risposte) sul testo arabo. Così mantieni un solo percorso nel codice e ricerca e analisi funzionano.
import json, os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
NORMALISE = """You receive a customer message that may be in Arabic script, English,
or Arabizi (Arabic written in Latin letters and digits, e.g. 3=ع, 7=ح, 2=ء, 5=خ).
Customers are mostly Egyptian. Return JSON only:
{"script": "arabic" | "arabizi" | "latin_english" | "mixed",
"dialect": "egyptian" | "gulf" | "levantine" | "msa" | "other" | null,
"arabic_text": "<the message in Arabic script, keeping the dialect words; keep English words in Latin letters>",
"english_gloss": "<short English meaning>"}"""
def normalise(message: str) -> dict:
r = client.chat.completions.create(
model="broadnet/qwen3.8-27b",
max_tokens=1500, # the model reasons first; leave room for the JSON
messages=[{"role": "system", "content": NORMALISE},
{"role": "user", "content": message}],
)
text = r.choices[0].message.content.strip()
text = text.removeprefix("```json").removeprefix("```").removesuffix("```")
return json.loads(text) # validate the fields before you trust them
print(normalise("el order bta3i lessa ma waslsh, can u check?"))
Un buon risultato:
{"script": "mixed", "dialect": "egyptian",
"arabic_text": "الأوردر بتاعي لسه ما وصلش، can u check?",
"english_gloss": "My order still hasn't arrived, can you check?"}
Note su questa impostazione:
- Conserva le parole dialettali. Chiedere “il messaggio in caratteri arabi, mantenendo le parole del dialetto” evita che venga riscritto in silenzio in MSA, cosa che farebbe perdere significato a instradamento e sentiment.
- Conserva l’originale. Salva il messaggio grezzo accanto alla conversione, per gli audit e per riaddestrare le regole.
- Usa un prefiltro economico. Un controllo semplice (lettere latine più le cifre 2, 3, 5, 6, 7, 8 o 9 dentro le parole, come nella regex qui sotto) intercetta la maggior parte dell’Arabizi prima di spendere una chiamata all’LLM. I messaggi solo in arabo o solo in inglese possono saltare la conversione. Per un output più rigido, usa l’output strutturato con uno schema.
import re
ARABIZI_HINT = re.compile(r"\b[a-z]*[2356789][a-z]+\b|\b[a-z]+[2356789][a-z]*\b", re.I)
def maybe_arabizi(text: str) -> bool:
return bool(ARABIZI_HINT.search(text)) and not re.search(r"[-ۿ]", text)
L’indizio non vede l’Arabizi senza cifre (“ana mesh fahem”, non capisco) e scatta su codici prodotto come “a7x”; consideralo un risparmio sui costi, non un classificatore. La vera decisione è il campo script dell’LLM.
In quale alfabeto deve essere la risposta?
Decidi per prodotto, non per messaggio:
| Rispondi in | Quando |
|---|---|
| Caratteri arabi (MSA o dialetto leggero) | Default per la maggior parte delle aziende; leggibile da tutti |
| Inglese | Se la tua lingua di assistenza è l’inglese, o se il cliente ha scritto soprattutto in inglese |
| Arabizi | Brand per giovani che vogliono riprendere lo stile del cliente; fai rivedere i campioni da madrelingua |
Riprendere automaticamente l’Arabizi tende a produrre grafie che sembrano strane agli utenti madrelingua, perché non c’è uno standard da seguire. Se lo fai, dai al modello esempi delle grafie che preferisci. Approfondimenti su registro e alfabeto nel prompt engineering in arabo.
Quale modello usare per l’Arabizi?
Raccogli da 50 a 100 messaggi reali in Arabizi dai tuoi canali, scrivi per ognuno la versione corretta in caratteri arabi e l’intento, e valuta i modelli candidati prima sull’accuratezza dell’intento e poi sulla qualità della conversione. BroadNet riporta che nei suoi test Qwen3.8 27B ha capito i dialetti del Golfo ed egiziano e ha scritto un arabo scorrevole; non ha pubblicato un risultato specifico sull’Arabizi, quindi testalo sui tuoi messaggi. DeepSeek V4.1 Flash costa meno per token di output, e BroadNet Gemma 4 VL 26B è il modello BroadNet più economico per un passaggio di preclassificazione ad alto volume. I prezzi sono nella pagina prezzi. Arabizi in caratteri latini e caratteri arabi vengono tokenizzati in modo diverso, quindi incolla entrambe le versioni di qualche messaggio nel contatore di token gratuito prima di stimare i costi.
Dove compare l’Arabizi?
- WhatsApp e messaggi diretti sui social: la fonte principale. Vedi architettura di un chatbot WhatsApp in arabo.
- Caselle di ricerca: gli utenti digitano “7agz” (حجز, prenotazione). Normalizza le query con lo stesso passaggio prima del retrieval RAG in arabo.
- Non dallo speech-to-text, se invii la lingua. L’Arabizi lo digitano le persone. Se la trascrizione di un audio arabo torna in caratteri latini, probabilmente nella richiesta manca
language=ar; la documentazione di BroadNet avverte che altrimenti l’arabo può essere traslitterato. Vedi la guida ai vocali WhatsApp.
