---
title: "Token per parola: arabo vs inglese, e come misurarli"
description: "Perché l’arabo usa spesso più token LLM dell’inglese a parità di significato, perché i token per parola ingannano, e uno script per misurare il tuo rapporto reale."
url: https://broadrouter.com/it/blog/tokens-per-word-arabic-english/
lang: it
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Tradotto dall’inglese con l’aiuto dell’IA. [Leggi l’originale in inglese](https://broadrouter.com/blog/tokens-per-word-arabic-english/) (aggiornato il 2026-11-16).

# Token per parola in arabo e in inglese: perché l’arabo costa di più

A cura del team di BroadNet Inference · 6 min di lettura · Pubblicato 2026-11-14 · Aggiornato 2026-11-16

Non esiste un numero unico: dipende dal tokenizer di ogni modello. Nel dataset misurato da BroadRouter, lo stesso testo in arabo standard moderno richiede da 1.31× (Qwen3.8 27B) a 1.77× (GLM 5.3) i token della sua traduzione inglese, e 1.000 parole di prosa inglese corrispondono in media a circa 1,290 token. Misura il tuo rapporto con usage.prompt\_tokens.

## Punti chiave

-   I token per parola sono una proprietà del tokenizer di ciascun modello, non solo della lingua.
-   La ricerca su molti tokenizer rileva che lo stesso contenuto costa spesso più token in arabo che in inglese.
-   Confronta testi paralleli (lo stesso significato nelle due lingue), non i token per parola: una parola araba può contenere più parole inglesi.
-   Misura con usage.prompt\_tokens sul modello esatto che userai, sottraendo una base per l’overhead del messaggio.
-   Diacritici, tatweel e scritture miste cambiano i conteggi; normalizza l’input in modo coerente.

**In questa pagina**

1.  Quanti token in più richiede l’arabo? I numeri misurati
2.  Cosa fa un tokenizer?
3.  Perché l’arabo usa spesso più token?
4.  Perché i token per parola sono la metrica sbagliata?
5.  Come misurare il tuo rapporto?
6.  Cosa significa per costi e contesto?
7.  Come ridurre i token in arabo?

Se costruisci un prodotto in arabo su un’API LLM, la bolletta si conta in token, non in parole. E lo stesso messaggio, scritto in arabo, diventa spesso più token della sua traduzione inglese. Questo incide su costi, limiti di contesto e latenza. Questo articolo spiega perché succede, perché i “token per parola” sono un numero fuorviante e come misurare il rapporto reale per i tuoi contenuti sul modello che usi.

## Quanti token in più richiede l’arabo? I numeri misurati

L’abbiamo misurato con il tokenizer reale di ciascun modello su testi paralleli (lo stesso significato in inglese e in arabo). La tabella completa, gli intervalli al 95% e il metodo sono nel [dataset gratuito sull’efficienza dei tokenizer](https://broadrouter.com/data/tokenizer-efficiency/) (CSV e JSON, CC BY 4.0, versione 4, misurato il 2026-11-15):

| Tokenizer | Arabo ÷ inglese, standard moderno (2,009 frasi FLORES-200) | Arabo ÷ inglese, dialetto del Golfo (49 frasi Tatoeba) |
| --- | --- | --- |
| Qwen3.8 27B | 1.31× | 1.21× |
| GPT (o200k) | 1.38× | 1.32× |
| Gemma 4 VL 26B | 1.47× | 1.22× |
| DeepSeek V4.1 Flash | 1.62× | 1.44× |
| GLM 5.3 | 1.77× | 1.57× |

La prosa inglese (Wikipedia e Project Gutenberg) è risultata tra circa 127 e 132 token per 100 parole sui cinque tokenizer. I rapporti per l’arabo standard moderno vengono dalle stesse 2,009 frasi FLORES-200 nelle due lingue (testi formali di notizie, viaggi ed enciclopedia tratti da articoli Wikimedia in inglese, tradotti da professionisti). FLORES-200 non contiene arabo del Golfo, quindi la colonna del Golfo usa 49 brevi coppie di frasi Tatoeba ed è molto meno precisa; la pagina del dataset dà un intervallo per ogni valore. Niente di tutto questo è il tuo traffico, quindi usa i rapporti per pianificare e misura i tuoi contenuti prima di fare il budget. Il [contatore di token per l’arabo](https://broadrouter.com/tools/arabic-token-counter/) conta un testo incollato su ogni tokenizer, e [token in parole](https://broadrouter.com/tools/tokens-to-words/) converte in entrambe le direzioni.

Per trasformare questi rapporti in denaro, il nostro [dataset sul costo reale per lingua](https://broadrouter.com/data/real-cost-by-language/) prezza 1M di caratteri di ogni lingua su ogni modello che siamo riusciti ad associare a un tokenizer misurato, tra i vari fornitori. Un prezzo per token più basso non significa sempre una bolletta più bassa in arabo.

## Cosa fa un tokenizer?

Prima che un modello veda il testo, un tokenizer lo divide in token presi da un vocabolario fisso. La maggior parte dei tokenizer moderni usa metodi a sottoparole come byte-pair encoding (BPE), WordPiece o SentencePiece, descritti nella [panoramica dei tokenizer](https://huggingface.co/docs/transformers/tokenizer_summary) di Hugging Face. Le stringhe frequenti nei dati di addestramento diventano token singoli; quelle rare vengono spezzate in pezzi più piccoli, fino a singoli byte se necessario.

Il vocabolario si impara da un corpus di addestramento. Le lingue che dominano quel corpus ottengono la codifica più efficiente. Ogni famiglia di modelli ha il proprio tokenizer, quindi i modelli DeepSeek, Qwen, GLM e Gemma possono dividere la stessa frase araba in numeri di token piuttosto diversi.

## Perché l’arabo usa spesso più token?

### 1\. Squilibrio nei dati di addestramento

Molti tokenizer sono stati addestrati su testi in cui l’inglese è fortemente sovrarappresentato. Le parole inglesi comuni diventano un token ciascuna; molte parole arabe comuni vengono spezzate in più pezzi. Petrov et al. (2023) l’hanno misurato su molti tokenizer e lingue e hanno trovato grandi differenze nel numero di token necessari per lo stesso contenuto, con l’inglese di solito tra le lingue più economiche. Ahia et al. (2023) sono arrivati a una conclusione simile per le API commerciali e hanno notato l’effetto diretto su quanto pagano i parlanti di lingue diverse.

### 2\. Morfologia araba

L’arabo attacca direttamente alle parole congiunzioni, preposizioni, articolo e pronomi. Una parola scritta può contenere ciò che in inglese si distribuisce su più parole:

| Arabo | Inglese, approssimativamente |
| --- | --- |
| وسيكتبونها | and they will write it |
| بالمدرسة | in the school |
| فقلنا | so we said |

Un tokenizer che non ha visto abbastanza spesso una certa combinazione la spezza in pezzi. Questo aumenta i token per **parola**, anche quando i token per **significato** sono ragionevoli.

### 3\. Dettagli della scrittura

Diacritici (tashkeel), tatweel (il carattere di allungamento), le diverse forme di alef e hamza e le cifre arabo-indiane sono tutti caratteri o varianti in più che il tokenizer deve codificare. Anche il testo misto arabo e latino, e l’arabizi (arabo scritto in lettere latine con cifre), possono dividersi in modi inattesi. Vedi [come gli LLM gestiscono l’arabizi](https://broadrouter.com/it/blog/arabizi-llm-handling/).

## Perché i token per parola sono la metrica sbagliata?

Siccome una parola araba equivale spesso a più parole inglesi, “l’arabo usa N token per parola” e “l’inglese usa M token per parola” non sono confrontabili. Una domanda più corretta è: **quanti token richiede lo stesso contenuto in ciascuna lingua?** Usa testi paralleli, lo stesso messaggio scritto nelle due lingue, e confronta i token totali. È quel rapporto che cambia la tua bolletta.

La regola empirica di OpenAI citata spesso, circa quattro caratteri o tre quarti di parola per token, vale per l’inglese sui tokenizer di OpenAI. Non si trasferisce all’arabo né ad altre famiglie di modelli, quindi non usarla per i budget in arabo.

## Come misurare il tuo rapporto?

Il campo usage è la verità di riferimento: è ciò su cui vieni fatturato. Questo script invia testi paralleli a un modello e legge `usage.prompt_tokens`. Sottrae una base così l’overhead fisso del template di chat non distorce i testi brevi. Usa [Gemma 4 VL 26B](https://broadrouter.com/it/models/gemma-4-vl-26b/), che funziona con il credito iniziale gratuito e non ragiona; sostituiscilo con il modello che userai davvero.

```python
import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
MODEL = "broadnet/gemma-4-26b-a4b"

def prompt_tokens(text):
    r = client.chat.completions.create(
        model=MODEL, max_tokens=1,
        messages=[{"role": "user", "content": text}],
    )
    return r.usage.prompt_tokens

baseline = prompt_tokens(".")
pairs = [
    ("Your order has shipped and will arrive on Thursday.",
     "تم شحن طلبك وسيصل يوم الخميس."),
    ("Please send a photo of the invoice so we can check the total.",
     "يرجى إرسال صورة الفاتورة حتى نتحقق من المبلغ الإجمالي."),
]

en_total = ar_total = 0
for en, ar in pairs:
    en_t = prompt_tokens(en) - baseline
    ar_t = prompt_tokens(ar) - baseline
    en_total += en_t; ar_total += ar_t
    print(f"EN {en_t:4d} | AR {ar_t:4d} | ratio {ar_t / max(1, en_t):.2f}")

print(f"Overall Arabic/English token ratio: {ar_total / max(1, en_total):.2f}")
```

Per ottenere un numero affidabile:

1.  **Usa da 50 a 200 coppie reali** del tuo dominio: messaggi di assistenza, descrizioni di prodotto, fatture. Le brevi frasi dimostrative sono rumorose.
2.  **Usa il dialetto in cui scrivono i tuoi utenti.** Il testo del Golfo, egiziano e levantino può essere tokenizzato diversamente dall’arabo standard moderno.
3.  **Eseguilo per ogni modello.** Un rapporto misurato su un modello dice poco su un altro. Se stai scegliendo tra modelli, esegui le stesse coppie su ciascuno; [scegliere un LLM per l’arabo](https://broadrouter.com/it/blog/choosing-an-llm-for-arabic/) tratta la qualità, che conta quanto il numero di token.
4.  **Misura anche l’output.** Chiedi a ogni modello di rispondere in arabo e in inglese e confronta `completion_tokens`. Su ogni modello l’output costa più dell’input per token, quindi il rapporto sull’output può contare di più.

Se il tokenizer del modello è pubblicato (per esempio su Hugging Face), puoi anche contare i token offline con quel tokenizer. Il campo usage dell’API resta comunque l’ultima parola, perché include il template di chat che il server applica.

### Leggere i risultati

Quando hai un rapporto per ogni modello, ci sono tre schemi comuni:

-   **Vicino a 1.** Il tokenizer gestisce bene il tuo arabo. Traffico arabo e inglese costano più o meno lo stesso a parità di contenuto.
-   **Chiaramente sopra 1.** L’arabo costa di più per messaggio. Tienine conto nelle previsioni e nei limiti di contesto, e valuta se un altro modello gestisce il tuo arabo in modo più efficiente con qualità simile.
-   **Molto diverso tra i tuoi campioni.** Di solito è segno di contenuto misto: testo con diacritici, arabizi, numeri, URL o codice dentro i messaggi in arabo. Dividi i campioni per tipo e misura ciascuno separatamente.

Conserva lo script e rieseguilo quando cambi modello o quando un fornitore aggiorna la versione di un modello, perché un nuovo tokenizer cambia ogni conteggio.

## Cosa significa per costi e contesto?

Il costo cresce con i token, quindi un rapporto più alto per l’arabo aumenta la bolletta dello stesso fattore per la parte araba del tuo traffico. Con i prezzi di BroadNet, l’input in arabo su [Qwen3.8 27B](https://broadrouter.com/it/models/qwen3.8-27b/) costa $0.175 per 1M di token e l’output $2.17; su Gemma 4 VL 26B, $0.10 e $0.22. Il prezzo per token è lo stesso in qualunque lingua; cambia solo il numero di token. Inserisci il rapporto misurato nel [metodo per stimare il costo mensile](https://broadrouter.com/it/blog/estimate-llm-api-cost-before-launch/).

I limiti di contesto si riducono allo stesso modo. Gemma 4 VL 26B accetta 32.768 token per richiesta; un lungo documento in arabo lo riempie prima della sua traduzione inglese. DeepSeek V4.1 Flash e GLM 5.3 ne accettano 1.048.576.

## Come ridurre i token in arabo?

-   **Normalizza in modo coerente.** Togli il tatweel, e i diacritici se il tuo compito non ne ha bisogno. Applica la stessa normalizzazione a ogni richiesta così la cache continua a funzionare.
-   **Tieni brevi le istruzioni.** Un system prompt lungo viene reinviato a ogni turno; una formulazione asciutta fa risparmiare token in entrambe le lingue.
-   **Metti in cache il prefisso stabile.** Sui modelli con una tariffa per la cache, system prompt e documenti ripetuti costano molto meno. [Come funziona la cache](https://broadrouter.com/it/blog/cached-input-tokens-explained/).
-   **Chiedi risposte concise.** “Rispondi in due frasi” fa risparmiare più di qualsiasi trucco sul tokenizer.

Per il parlato in arabo invece del testo, la trascrizione si paga per minuto di audio, non per token, quindi la tokenizzazione non incide su quella parte della bolletta; vedi la [pagina sullo speech-to-text per l’arabo](https://broadrouter.com/it/blog/arabic-speech-to-text-api-buyers-guide/).

Strumenti gratuiti sul tema (in inglese)

-   [LLM API cost calculator](https://broadrouter.com/tools/llm-api-cost-calculator/) Price a workload on every model at once, with cache hits, reasoning and a flat-plan check.
-   [Flat-rate vs per-token LLM cost calculator](https://broadrouter.com/tools/flat-rate-vs-per-token-calculator/) Break-even between an unlimited plan and paying per token, per agent.
-   [Prompt caching savings calculator](https://broadrouter.com/tools/prompt-caching-calculator/) Bill with and without caching, by prefix share and hit rate.
-   [Prompt token diff](https://broadrouter.com/tools/prompt-token-diff/) Two prompt versions side by side: changed lines, exact token delta and the monthly cost difference.

[Strumenti gratuiti (in inglese)](https://broadrouter.com/tools/)

## Termini in questo articolo

[Token](https://broadrouter.com/it/glossary/token/)

Un token è l’unità di testo che un modello linguistico legge e scrive: una parola, una parte di parola, un segno di punteggiatura o una sequenza di byte prodotta dal tokenizer del modello. Le API LLM contano, limitano e di solito fatturano l’uso in token.

[Tokenizer](https://broadrouter.com/it/glossary/tokenizer/)

Un tokenizer è il componente che converte il testo nella sequenza di ID interi di token che un modello linguistico legge, e riconverte in testo gli ID generati. Ogni modello ha il proprio tokenizer, quindi lo stesso testo può produrre un numero di token diverso su modelli diversi.

[Arabo standard moderno (MSA)](https://broadrouter.com/it/glossary/msa/)

L’arabo standard moderno (MSA) è la forma standardizzata dell’arabo usata nella scrittura, nei notiziari, nell’istruzione e nei discorsi formali in tutto il mondo arabo. Non è la lingua madre quotidiana di nessuno: le persone parlano dialetti regionali, come l’egiziano o l’arabo del Golfo, e passano all’MSA nei contesti formali.

[Arabizi](https://broadrouter.com/it/glossary/arabizi/)

L’Arabizi è arabo scritto in modo informale con lettere latine, usando cifre per i suoni arabi senza equivalente latino, come 3 per ع. È diffuso in chat e sui social, è per lo più dialettale, non ha un’ortografia standard e spesso si mescola con inglese o francese.

[Chat template](https://broadrouter.com/it/glossary/chat-template/)

Un chat template è la regola di formattazione, di solito scritta in Jinja e distribuita con il tokenizer di un modello, che converte una lista di messaggi di chat con i rispettivi ruoli nell’unica sequenza di token che il modello si aspetta, compresi i suoi token speciali di controllo. Usare il template sbagliato può peggiorare molto le risposte del modello.

[Hamza (lettera araba)](https://broadrouter.com/it/glossary/hamza/)

La hamza (ء) è la lettera araba che indica il colpo di glottide. Si scrive da sola o su un supporto: alef (أ إ), waw (ؤ) o yeh (ئ), e آ unisce alef e madda. Dato che il testo digitato la usa in modo incoerente, motori di ricerca e valutazione del parlato spesso riducono le forme con alef a ا.

[Normalizzazione del testo arabo (Arabic text normalization)](https://broadrouter.com/it/glossary/arabic-text-normalization/)

La normalizzazione del testo arabo è il passaggio che riporta a una sola forma le varianti grafiche della stessa parola prima del confronto: toglie diacritici e tatweel, unifica le forme di alef e spesso trasforma ى in ي e ة in ه. Si applica alle chiavi di ricerca e alla valutazione, non al testo che mostri.

[Pagamento a consumo (pay-as-you-go)](https://broadrouter.com/it/glossary/pay-as-you-go/)

Il pagamento a consumo è un modello di prezzo in cui paghi solo ciò che usi, misurato per unità come token, richieste o minuti di audio, senza abbonamento né impegno minimo. La maggior parte delle API LLM fattura così, da un saldo prepagato o con una fattura periodica.

## Domande frequenti

### Quanti token è una parola araba?

Dipende dal modello. Nel dataset di BroadRouter sui tokenizer, l’arabo standard moderno ha richiesto da 183.0 (Qwen3.8 27B) a 243.9 (GLM 5.3) token per 100 parole sui cinque tokenizer. Confronta testi paralleli invece di singole parole, e misura sul modello che usi.

### Quanti token sono 1.000 parole in inglese?

Circa da 1,269 a 1,320 token di semplice prosa inglese sui cinque tokenizer del dataset misurato da BroadRouter (1,290 in media). Testi tecnici, codice e altre lingue ne richiedono di più, quindi conta il tuo testo.

### Togliere i diacritici riduce i token?

Di solito sì, perché i diacritici sono caratteri in più che il tokenizer deve codificare. Toglili solo se il tuo compito non ne ha bisogno; per Corano, poesia o pronuncia hanno un significato.

### La regola dei 4 caratteri per token vale per l’arabo?

No. OpenAI dà questa regola empirica per il testo inglese sui propri tokenizer. Non si applica all’arabo né ai tokenizer di altri modelli.

### I token arabi costano di più per token?

No. Un token costa lo stesso in qualunque lingua codifichi. L’arabo costa di più solo quando lo stesso contenuto si divide in più token.

## Continua a leggere

-   [Scegliere un’API LLM per l’arabo: cosa testare](https://broadrouter.com/it/blog/choosing-an-llm-for-arabic/)
-   [Prezzi delle API LLM spiegati: input, cache, output e ragionamento](https://broadrouter.com/it/blog/llm-api-pricing-explained/)
-   [Prompt engineering in arabo: registro, RTL, cifre e testo misto](https://broadrouter.com/it/blog/arabic-prompt-engineering/)
-   [Arabizi e LLM: gestire il franco-arabo con numeri come 3 e 7](https://broadrouter.com/it/blog/arabizi-llm-handling/)
-   [Aggiungere i diacritici all’arabo con un LLM: prompt, controlli, DER](https://broadrouter.com/it/blog/arabic-diacritization-llm/)
-   [Prezzi delle API LLM a ottobre 2026: 3 aumenti, nessun taglio](https://broadrouter.com/it/blog/llm-api-price-changes-october-2026/)
-   [Ogni quanto cambiano i prezzi delle API LLM? 3 anni di archivio](https://broadrouter.com/it/blog/how-often-llm-api-prices-change/)
-   [Guida: Usare l’SDK Python di OpenAI con BroadNet Inference](https://broadrouter.com/it/guides/openai-python-sdk/)

Provalo sul tuo carico di lavoro reale. I nuovi account partono con USD 5 di credito per Gemma e trascrizione. DeepSeek, GLM e Qwen3.8 richiedono una ricarica.

[Inizia](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=it-blog-tokens-per-word-arabic-english&utm_content=page-cta) ·

**Fonti**

-   [Petrov et al., Language Model Tokenizers Introduce Unfairness Between Languages (arXiv 2305.15425, consultato il 2026-11-16)](https://arxiv.org/abs/2305.15425)
-   [Ahia et al., Do All Languages Cost the Same? Tokenization in the Era of Commercial Language Models (arXiv 2305.13707, consultato il 2026-11-16)](https://arxiv.org/abs/2305.13707)
-   [Hugging Face Transformers, algoritmi di tokenizzazione (consultato il 2026-11-16)](https://huggingface.co/docs/transformers/tokenizer_summary)
-   [Centro assistenza OpenAI, cosa sono i token e come contarli](https://help.openai.com/en/articles/4936856-what-are-tokens-and-how-to-count-them)
-   [Dataset BroadRouter sull’efficienza dei tokenizer, versione 4 (misurato il 2026-11-15)](https://broadrouter.com/data/tokenizer-efficiency/)
-   [Benchmark di valutazione FLORES-200 (Meta, CC BY-SA 4.0), le frasi parallele alla base dei rapporti per l’MSA (commit fissato, consultato il 2026-11-16)](https://github.com/facebookresearch/flores/tree/a6c830c6e1051fb4ac1a44b32358f00463f332bd/flores200)
-   [Riferimento API di BroadNet Inference, campi di usage (consultato il 2026-11-16) (in inglese)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=it-blog-tokens-per-word-arabic-english&utm_content=sources)
