I lavori di classificazione in arabo sono ovunque: questa recensione è positiva, questo messaggio WhatsApp è un reclamo, a quale team va questo ticket, è urgente. Prima degli LLM ogni lavoro richiedeva un dataset etichettato e un modello con fine-tuning. Oggi puoi partire da un prompt. È più veloce, ma è facile mettere in produzione un classificatore che sembra ottimo su dieci esempi e poi fallisce sul dialetto del Golfo. Questo articolo copre il prompt, il formato di output, il test e i costi.
Quali lavori di classificazione si adattano a un LLM?
| Lavoro | Etichette, per esempio | Note |
|---|---|---|
| Sentiment | positive, negative, neutral, mixed | Neutro e misto sono dove persone e modelli sono meno d’accordo |
| Intenzione | complaint, question, order, cancel, other | Tieni “other”: forzare un’etichetta crea errori |
| Smistamento dei ticket | billing, delivery, technical, account | Basa le etichette sui tuoi team reali |
| Urgenza | urgent, normal | Definisci “urgente” in una riga: “il cliente non può usare il servizio adesso” |
| Dialetto o scrittura | MSA, Gulf, Egyptian, Levantine, Arabizi | Utile per scegliere il modello di risposta giusto; vedi Arabizi |
| Tag di argomento | Più etichette da un elenco fisso | Chiedi una lista e limitane la lunghezza |
Un LLM è adatto quando hai pochi esempi etichettati, quando le etichette cambiano spesso o quando vuoi una motivazione per ogni etichetta. Un classificatore con fine-tuning è adatto quando le etichette sono stabili, il volume è enorme e hai già migliaia di esempi etichettati.
Cosa dice la ricerca sugli LLM in arabo?
Prima di iniziare vale la pena conoscere due risultati:
- I modelli arabi con fine-tuning possono vincere. GPTAraEval ha testato ChatGPT su 44 task in arabo e l’ha trovato «consistently surpassed by smaller models that have undergone finetuning on Arabic» (traduzione: costantemente superato da modelli più piccoli sottoposti a fine-tuning sull’arabo). Gli autori hanno trovato anche risultati più deboli sui dialetti che sull’arabo standard moderno (Khondaker et al.).
- I prompt attenti al dialetto aiutano. Uno studio RANLP 2025 su DeepSeek-R1, Qwen2.5 e LLaMA-3 per il sentiment in MSA, dialetto saudita e darija marocchina riporta che i prompt attenti al dialetto migliorano l’accuratezza, soprattutto per le classi neutra e negativa (Alharbi et al.).
Sono modelli più vecchi o diversi da quelli che userai, quindi prendili come indicazioni, non come numeri. La lezione resta valida: misura sui tuoi messaggi, per dialetto.
Come si progettano le etichette?
Parti da qui, non dal modello.
- Tieni l’elenco corto. Da quattro a otto etichette per domanda. Fai domande separate (sentiment, intenzione, urgenza) come campi separati, non un’unica lista gigante.
- Definisci ogni etichetta in una riga, indicando anche cosa non è: “complaint: il cliente segnala un problema con qualcosa che ha acquistato. Non una domanda sul prezzo.”
- Aggiungi un’etichetta di uscita come
otherounclear. - Decidi in anticipo i casi misti. “La consegna è arrivata in ritardo ma il corriere è stato gentile” è misto, non neutro. Metti la regola per iscritto.
Le definizioni delle etichette possono essere in inglese anche quando il testo è in arabo. Tieni i valori delle etichette in inglese, così il tuo codice non dipende dal confronto di stringhe in arabo.
Quale prompt funziona per classificare l’arabo?
import json, os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
LABELS = ["complaint", "question", "order", "cancel", "other"]
SYSTEM = """You classify customer messages written in Arabic.
Messages may be Modern Standard Arabic, Gulf or Egyptian dialect, Arabizi, or mixed with English.
Labels:
- complaint: reports a problem with a product, delivery or service.
- question: asks for information; no problem reported.
- order: wants to buy or change an order.
- cancel: wants to cancel an order or subscription.
- other: none of the above.
Return JSON only: {"label": one of the labels, "evidence": the shortest Arabic phrase from the message that decided it}.
Examples:
"الطلب وصل ناقص قطعتين" -> {"label": "complaint", "evidence": "وصل ناقص"}
"بكم التوصيل للرياض؟" -> {"label": "question", "evidence": "بكم التوصيل"}
"عايز ألغي الاشتراك" -> {"label": "cancel", "evidence": "ألغي الاشتراك"}"""
def classify(text):
r = client.chat.completions.create(
model="broadnet/qwen3.8-27b",
temperature=0,
reasoning_effort="low",
max_tokens=1000,
messages=[{"role": "system", "content": SYSTEM},
{"role": "user", "content": text}])
out = json.loads(r.choices[0].message.content)
if out.get("label") not in LABELS:
raise ValueError(f"bad label: {out}")
return out
Perché c’è ogni parte:
- La riga sui dialetti dice al modello cosa aspettarsi: è il prompt attento al dialetto che lo studio RANLP ha trovato utile.
- Esempi in più di un dialetto. Gli esempi qui sopra mescolano dialetto del Golfo ed egiziano. Usa messaggi reali (anonimizzati) del tuo traffico.
- La prova come citazione permette a un revisore di verificare un’etichetta in un secondo, e rende più facile scovare le risposte tirate a indovinare.
reasoning_effort="low". Qwen3.8 27B, GLM 5.3 e DeepSeek V4.1 Flash ragionano prima di rispondere, e il ragionamento conta permax_tokens. La documentazione di BroadNet suggerisce di impostarereasoning_effortsulowo di lasciare almeno 1.000 token. Perché altrimenti le risposte tornano vuote.- Scarta nel codice le etichette sconosciute. Non fidarti mai del fatto che il modello resti nell’elenco.
Per un contratto di output più rigido, vedi JSON mode vs json_schema. BroadNet indica l’output strutturato per GLM 5.3 e Qwen3.8 27B.
Quale modello BroadNet usare?
| Modello | Perché sceglierlo | Input / output per 1M di token |
|---|---|---|
| Qwen3.8 27B | Testato da BroadNet in arabo: dialetti del Golfo ed egiziano compresi; output strutturato indicato | $0.175 / $2.17 |
| BroadNet Gemma 4 VL 26B | Il prezzo per token più basso su BroadNet; funziona con il credito iniziale di $5; output strutturato non indicato, quindi valida l’output in modo rigoroso | $0.10 / $0.22 |
| DeepSeek V4.1 Flash | Disponibile anche con un piano flat a $60 al mese per sessione, una richiesta alla volta | $0.175 / $0.52 |
| GLM 5.3 | Output strutturato indicato; il prezzo più alto dei quattro | $0.78 / $3.46 |
Esegui prima il tuo test set su Qwen3.8 27B e Gemma 4 VL 26B. Se i punteggi di Gemma sono abbastanza vicini, è la scelta più economica per etichette brevi. Scegli in base ai tuoi numeri, non a questa tabella.
Come si testa il classificatore?
- Etichetta a mano 200 messaggi reali, con un madrelingua, usando le definizioni qui sopra. Includi ogni dialetto che ricevi, almeno 30 per ciascuno.
- Esegui il modello su tutti e 200.
- Calcola la macro F1, la media delle F1 per etichetta, così le etichette rare contano quanto quelle comuni. L’accuratezza da sola nasconde un modello che non dice mai
cancel. - Leggi la matrice di confusione. Se
questionecomplaintsi scambiano spesso, le definizioni si sovrappongono: sistema le definizioni prima di cambiare modello. - Dividi i risultati per dialetto. Un modello può essere forte in MSA e debole sul Golfo.
# pip install scikit-learn
from sklearn.metrics import classification_report, confusion_matrix
pred = [classify(t)["label"] for t in texts]
print(classification_report(gold, pred, labels=LABELS, digits=3))
print(confusion_matrix(gold, pred, labels=LABELS))
Riesegui lo stesso set ogni volta che cambi prompt o modello. Come valutare un LLM prima di cambiarlo spiega come mantenere un test set fisso.
Come classificare a grandi volumi?
La classificazione è sbilanciata sull’input: un system prompt lungo, un messaggio breve e una risposta di una parola. Contano tre leve.
Raggruppa i messaggi per richiesta. Una chiave BroadNet a consumo consente 30 richieste al minuto e 4 in corso. Un messaggio per richiesta ti limita a 30 messaggi al minuto per chiave, ovvero 1.440 volte tanto al giorno. Invia 20 messaggi brevi come elenco numerato e chiedi un array JSON di 20 risultati: lo stesso rate limit copre così venti volte più messaggi. Verifica che la lunghezza dell’array corrisponda e che ogni elemento abbia il suo numero.
Tieni identico il prefisso del prompt. System prompt ed esempi sono gli stessi a ogni chiamata. Mettili all’inizio e il messaggio alla fine, così possono essere letti dalla cache al prezzo dell’input in cache, per esempio $0.0435 invece di $0.175 per 1M su Qwen3.8 27B. Come strutturare i prompt perché il prefisso vada in cache.
Tieni corto l’output. I token di output costano più di quelli di input. Bastano un’etichetta e una breve citazione; elimina il campo della prova quando ti fidi del modello.
L’arabo di solito richiede più token per parola dell’inglese, quindi conta un campione dei tuoi messaggi con il contatore di token per l’arabo, poi stima il mese con il calcolatore dei costi delle API LLM.
Quali errori evitare?
- Testare su traduzioni inglesi. Il testo tradotto non è come scrivono i tuoi clienti.
- Un solo punteggio per tutti i dialetti. Riporta ogni dialetto separatamente.
- Nessuna etichetta di uscita. Forzare ogni messaggio in un’etichetta reale gonfia gli errori.
- Risposte in testo libero. “Sembra negativo” non si può analizzare. Chiedi JSON e validalo.
- Ignorare il sarcasmo. “ما شاء الله، ثالث مرة يتأخر الطلب” parola per parola sembra positivo, ed è un reclamo. Metti un esempio simile nel prompt.
Quando un LLM è il classificatore sbagliato?
Quando le etichette sono stabili, hai già migliaia di esempi etichettati e il volume è nell’ordine dei milioni, un modello encoder arabo con fine-tuning di solito costa meno per messaggio e, secondo GPTAraEval, può essere più accurato. Per grandi lavori offline che possono aspettare, anche un fornitore con una batch API può costare meno: OpenAI dichiara uno sconto del 50% per i job batch completati entro 24 ore. BroadNet non ha una batch API. Uno schema comune è usare un LLM per etichettare le prime migliaia di messaggi, controllarle a mano e addestrare un piccolo modello sul risultato.
Dove si colloca BroadNet Inference
BroadNet ti dà un modello testato in arabo (Qwen3.8 27B), un modello economico con il credito iniziale (Gemma 4 VL 26B) e un’opzione a tariffa flat (DeepSeek V4.1 Flash) dietro un’unica chiave compatibile con OpenAI, senza conservare il contenuto dei messaggi dopo la richiesta. È adatto ai team di assistenza che vogliono classificare messaggi in arabo senza costruire una pipeline di addestramento. Non è adatto a lavori offline molto grandi, dove uno sconto batch o un modello con fine-tuning costerebbero meno. Parti dal prompt qui sopra, dal test su 200 messaggi e dall’articolo sui dialetti del Golfo, egiziano e levantino per costruire il test set.
