Se costruisci un prodotto in arabo su un’API LLM, la bolletta si conta in token, non in parole. E lo stesso messaggio, scritto in arabo, diventa spesso più token della sua traduzione inglese. Questo incide su costi, limiti di contesto e latenza. Questo articolo spiega perché succede, perché i “token per parola” sono un numero fuorviante e come misurare il rapporto reale per i tuoi contenuti sul modello che usi.
Quanti token in più richiede l’arabo? I numeri misurati
L’abbiamo misurato con il tokenizer reale di ciascun modello su testi paralleli (lo stesso significato in inglese e in arabo). La tabella completa, gli intervalli al 95% e il metodo sono nel dataset gratuito sull’efficienza dei tokenizer (CSV e JSON, CC BY 4.0, versione 4, misurato il 2026-11-15):
| Tokenizer | Arabo ÷ inglese, standard moderno (2,009 frasi FLORES-200) | Arabo ÷ inglese, dialetto del Golfo (49 frasi Tatoeba) |
|---|---|---|
| Qwen3.8 27B | 1.31× | 1.21× |
| GPT (o200k) | 1.38× | 1.32× |
| Gemma 4 VL 26B | 1.47× | 1.22× |
| DeepSeek V4.1 Flash | 1.62× | 1.44× |
| GLM 5.3 | 1.77× | 1.57× |
La prosa inglese (Wikipedia e Project Gutenberg) è risultata tra circa 127 e 132 token per 100 parole sui cinque tokenizer. I rapporti per l’arabo standard moderno vengono dalle stesse 2,009 frasi FLORES-200 nelle due lingue (testi formali di notizie, viaggi ed enciclopedia tratti da articoli Wikimedia in inglese, tradotti da professionisti). FLORES-200 non contiene arabo del Golfo, quindi la colonna del Golfo usa 49 brevi coppie di frasi Tatoeba ed è molto meno precisa; la pagina del dataset dà un intervallo per ogni valore. Niente di tutto questo è il tuo traffico, quindi usa i rapporti per pianificare e misura i tuoi contenuti prima di fare il budget. Il contatore di token per l’arabo conta un testo incollato su ogni tokenizer, e token in parole converte in entrambe le direzioni.
Per trasformare questi rapporti in denaro, il nostro dataset sul costo reale per lingua prezza 1M di caratteri di ogni lingua su ogni modello che siamo riusciti ad associare a un tokenizer misurato, tra i vari fornitori. Un prezzo per token più basso non significa sempre una bolletta più bassa in arabo.
Cosa fa un tokenizer?
Prima che un modello veda il testo, un tokenizer lo divide in token presi da un vocabolario fisso. La maggior parte dei tokenizer moderni usa metodi a sottoparole come byte-pair encoding (BPE), WordPiece o SentencePiece, descritti nella panoramica dei tokenizer di Hugging Face. Le stringhe frequenti nei dati di addestramento diventano token singoli; quelle rare vengono spezzate in pezzi più piccoli, fino a singoli byte se necessario.
Il vocabolario si impara da un corpus di addestramento. Le lingue che dominano quel corpus ottengono la codifica più efficiente. Ogni famiglia di modelli ha il proprio tokenizer, quindi i modelli DeepSeek, Qwen, GLM e Gemma possono dividere la stessa frase araba in numeri di token piuttosto diversi.
Perché l’arabo usa spesso più token?
1. Squilibrio nei dati di addestramento
Molti tokenizer sono stati addestrati su testi in cui l’inglese è fortemente sovrarappresentato. Le parole inglesi comuni diventano un token ciascuna; molte parole arabe comuni vengono spezzate in più pezzi. Petrov et al. (2023) l’hanno misurato su molti tokenizer e lingue e hanno trovato grandi differenze nel numero di token necessari per lo stesso contenuto, con l’inglese di solito tra le lingue più economiche. Ahia et al. (2023) sono arrivati a una conclusione simile per le API commerciali e hanno notato l’effetto diretto su quanto pagano i parlanti di lingue diverse.
2. Morfologia araba
L’arabo attacca direttamente alle parole congiunzioni, preposizioni, articolo e pronomi. Una parola scritta può contenere ciò che in inglese si distribuisce su più parole:
| Arabo | Inglese, approssimativamente |
|---|---|
| وسيكتبونها | and they will write it |
| بالمدرسة | in the school |
| فقلنا | so we said |
Un tokenizer che non ha visto abbastanza spesso una certa combinazione la spezza in pezzi. Questo aumenta i token per parola, anche quando i token per significato sono ragionevoli.
3. Dettagli della scrittura
Diacritici (tashkeel), tatweel (il carattere di allungamento), le diverse forme di alef e hamza e le cifre arabo-indiane sono tutti caratteri o varianti in più che il tokenizer deve codificare. Anche il testo misto arabo e latino, e l’arabizi (arabo scritto in lettere latine con cifre), possono dividersi in modi inattesi. Vedi come gli LLM gestiscono l’arabizi.
Perché i token per parola sono la metrica sbagliata?
Siccome una parola araba equivale spesso a più parole inglesi, “l’arabo usa N token per parola” e “l’inglese usa M token per parola” non sono confrontabili. Una domanda più corretta è: quanti token richiede lo stesso contenuto in ciascuna lingua? Usa testi paralleli, lo stesso messaggio scritto nelle due lingue, e confronta i token totali. È quel rapporto che cambia la tua bolletta.
La regola empirica di OpenAI citata spesso, circa quattro caratteri o tre quarti di parola per token, vale per l’inglese sui tokenizer di OpenAI. Non si trasferisce all’arabo né ad altre famiglie di modelli, quindi non usarla per i budget in arabo.
Come misurare il tuo rapporto?
Il campo usage è la verità di riferimento: è ciò su cui vieni fatturato. Questo script invia testi paralleli a un modello e legge usage.prompt_tokens. Sottrae una base così l’overhead fisso del template di chat non distorce i testi brevi. Usa Gemma 4 VL 26B, che funziona con il credito iniziale gratuito e non ragiona; sostituiscilo con il modello che userai davvero.
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
MODEL = "broadnet/gemma-4-26b-a4b"
def prompt_tokens(text):
r = client.chat.completions.create(
model=MODEL, max_tokens=1,
messages=[{"role": "user", "content": text}],
)
return r.usage.prompt_tokens
baseline = prompt_tokens(".")
pairs = [
("Your order has shipped and will arrive on Thursday.",
"تم شحن طلبك وسيصل يوم الخميس."),
("Please send a photo of the invoice so we can check the total.",
"يرجى إرسال صورة الفاتورة حتى نتحقق من المبلغ الإجمالي."),
]
en_total = ar_total = 0
for en, ar in pairs:
en_t = prompt_tokens(en) - baseline
ar_t = prompt_tokens(ar) - baseline
en_total += en_t; ar_total += ar_t
print(f"EN {en_t:4d} | AR {ar_t:4d} | ratio {ar_t / max(1, en_t):.2f}")
print(f"Overall Arabic/English token ratio: {ar_total / max(1, en_total):.2f}")
Per ottenere un numero affidabile:
- Usa da 50 a 200 coppie reali del tuo dominio: messaggi di assistenza, descrizioni di prodotto, fatture. Le brevi frasi dimostrative sono rumorose.
- Usa il dialetto in cui scrivono i tuoi utenti. Il testo del Golfo, egiziano e levantino può essere tokenizzato diversamente dall’arabo standard moderno.
- Eseguilo per ogni modello. Un rapporto misurato su un modello dice poco su un altro. Se stai scegliendo tra modelli, esegui le stesse coppie su ciascuno; scegliere un LLM per l’arabo tratta la qualità, che conta quanto il numero di token.
- Misura anche l’output. Chiedi a ogni modello di rispondere in arabo e in inglese e confronta
completion_tokens. Su ogni modello l’output costa più dell’input per token, quindi il rapporto sull’output può contare di più.
Se il tokenizer del modello è pubblicato (per esempio su Hugging Face), puoi anche contare i token offline con quel tokenizer. Il campo usage dell’API resta comunque l’ultima parola, perché include il template di chat che il server applica.
Leggere i risultati
Quando hai un rapporto per ogni modello, ci sono tre schemi comuni:
- Vicino a 1. Il tokenizer gestisce bene il tuo arabo. Traffico arabo e inglese costano più o meno lo stesso a parità di contenuto.
- Chiaramente sopra 1. L’arabo costa di più per messaggio. Tienine conto nelle previsioni e nei limiti di contesto, e valuta se un altro modello gestisce il tuo arabo in modo più efficiente con qualità simile.
- Molto diverso tra i tuoi campioni. Di solito è segno di contenuto misto: testo con diacritici, arabizi, numeri, URL o codice dentro i messaggi in arabo. Dividi i campioni per tipo e misura ciascuno separatamente.
Conserva lo script e rieseguilo quando cambi modello o quando un fornitore aggiorna la versione di un modello, perché un nuovo tokenizer cambia ogni conteggio.
Cosa significa per costi e contesto?
Il costo cresce con i token, quindi un rapporto più alto per l’arabo aumenta la bolletta dello stesso fattore per la parte araba del tuo traffico. Con i prezzi di BroadNet, l’input in arabo su Qwen3.8 27B costa $0.175 per 1M di token e l’output $2.17; su Gemma 4 VL 26B, $0.10 e $0.22. Il prezzo per token è lo stesso in qualunque lingua; cambia solo il numero di token. Inserisci il rapporto misurato nel metodo per stimare il costo mensile.
I limiti di contesto si riducono allo stesso modo. Gemma 4 VL 26B accetta 32.768 token per richiesta; un lungo documento in arabo lo riempie prima della sua traduzione inglese. DeepSeek V4.1 Flash e GLM 5.3 ne accettano 1.048.576.
Come ridurre i token in arabo?
- Normalizza in modo coerente. Togli il tatweel, e i diacritici se il tuo compito non ne ha bisogno. Applica la stessa normalizzazione a ogni richiesta così la cache continua a funzionare.
- Tieni brevi le istruzioni. Un system prompt lungo viene reinviato a ogni turno; una formulazione asciutta fa risparmiare token in entrambe le lingue.
- Metti in cache il prefisso stabile. Sui modelli con una tariffa per la cache, system prompt e documenti ripetuti costano molto meno. Come funziona la cache.
- Chiedi risposte concise. “Rispondi in due frasi” fa risparmiare più di qualsiasi trucco sul tokenizer.
Per il parlato in arabo invece del testo, la trascrizione si paga per minuto di audio, non per token, quindi la tokenizzazione non incide su quella parte della bolletta; vedi la pagina sullo speech-to-text per l’arabo.
