BroadRouter

Come contare i token prima di inviare una richiesta a un LLM

A cura del team di BroadNet Inference · 5 min di lettura · Pubblicato · Aggiornato

Conta i token con il tokenizer del modello che chiami, se è pubblico; altrimenti calibra un rapporto caratteri per token dal campo usage di richieste reali, per lingua e tipo di contenuto. Aggiungi un margine dal 10 al 20 percento, poi verifica che token del prompt più max_tokens stiano nella finestra di contesto, lasciando spazio ai token di ragionamento sui modelli thinking.

Ti serve un conteggio dei token prima di inviare una richiesta per tre motivi: restare dentro la finestra di contesto, scegliere un max_tokens sensato e stimare il costo. I conteggi esatti arrivano solo dal tokenizer del modello. Le buone stime arrivano dalla calibrazione. Questo articolo mostra entrambe le cose, con misurazioni reali.

Perché il numero di token cambia da un modello all’altro?

Un tokenizer spezza il testo in pezzi presi da un vocabolario fisso. Ogni famiglia di modelli addestra il proprio. Un vocabolario più grande, o addestrato su più testo in una certa lingua, produce meno token per quella lingua. Quindi la domanda “quanti token è questo prompt” ha una risposta diversa per ogni modello.

Abbiamo misurato lo stesso breve messaggio di assistenza clienti, tradotto in quattro lingue, più una piccola funzione Python e un oggetto JSON di fattura. I conteggi OpenAI vengono da tiktoken (cl100k_base, epoca GPT-4, e o200k_base, epoca GPT-4o). I conteggi dei modelli aperti vengono dai file del tokenizer che ogni famiglia pubblica su Hugging Face, contati senza chat template, il 14 novembre 2026.

Testo (stesso significato) Caratteri cl100k_base o200k_base DeepSeek V4.1 Flash GLM 5.3 Qwen3.8 27B Gemma 4
Inglese, 31 parole 173 37 37 37 38 39 39
Spagnolo 160 47 40 50 45 43 42
Arabo 142 102 46 55 58 48 49
Cinese 54 51 37 34 35 36 38
Funzione Python 94 33 33 35 33 35 38
JSON di fattura 140 59 60 63 60 72 72

Un solo campione per riga: prendi i numeri come un esempio, non come un benchmark. Tre lezioni valgono comunque. La generazione del tokenizer conta: il testo arabo si è più che dimezzato passando da cl100k_base a o200k_base. Anche i modelli aperti differiscono tra loro: lo stesso testo arabo è andato da 48 a 58 token, e il JSON da 60 a 72. E il contenuto strutturato è denso di token ovunque: il JSON ha reso circa 2 caratteri per token su ogni tokenizer.

Puoi ripetere la prova sul tuo testo con il contatore di token gratuito, oppure con i contatori per famiglia di DeepSeek, Qwen e GPT. Per vedere quanto fa risparmiare una modifica al prompt, confronta le due versioni nel diff di token del prompt. Perché proprio l’arabo costi più token, misurato su testi più lunghi, lo spiega token per parola in arabo e in inglese.

Come si contano i token in modo esatto?

Se il tokenizer del modello è pubblico, caricalo e conta in locale. Per i modelli OpenAI:

import tiktoken
enc = tiktoken.encoding_for_model("gpt-4o")
n = len(enc.encode(text))

Per le famiglie open-weight il tokenizer di solito viene distribuito con il modello su Hugging Face e si carica con AutoTokenizer.from_pretrained(...). Due avvertenze: il chat template aggiunge token per ruoli e separatori, e la versione messa in produzione da un provider API può differire dai file pubblici. Il riferimento API di BroadNet non documenta un endpoint per contare i token né il tokenizer di ciascun modello, quindi il tokenizer pubblico dà una stima vicina e il numero esatto è usage.prompt_tokens dopo la chiamata.

Come si stimano i token se il tokenizer non è pubblico?

Calibra una volta per modello, poi stima in locale:

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

def prompt_tokens(model, text):
    r = client.chat.completions.create(
        model=model, max_tokens=1000,  # room for reasoning on thinking models
        messages=[{"role": "user", "content": text}],
    )
    return r.usage.prompt_tokens

def measure(model, samples: dict[str, list[str]]):
    base = prompt_tokens(model, "hi")  # chat-template overhead plus one short word
    ratios = {}
    for kind, texts in samples.items():
        chars = toks = 0
        for t in texts:
            chars += len(t)
            toks += prompt_tokens(model, t) - base
        ratios[kind] = chars / toks
    return ratios  # e.g. {"english": 4.1, "arabic": 2.9, "json": 2.3}

def estimate(text, kind, ratios, overhead=10):
    return int(len(text) / ratios[kind]) + overhead

Usa almeno 20 campioni reali per tipo di contenuto (i tuoi prompt veri, non lorem ipsum). La richiesta di base con una sola parola elimina l’overhead fisso del chat template, che estimate riaggiunge come overhead; impostalo sulla base che hai misurato. Calibra sul modello più economico di BroadNet solo se è quello che chiamerai: i rapporti di Gemma 4 VL 26B non valgono per DeepSeek V4.1 Flash. Anche le immagini sono fatturate come token di input, e quelle più grandi ne usano di più, quindi calibrale a parte per risoluzione.

Che margini usare per max_tokens e contesto?

La finestra copre prompt e output. Sui modelli di ragionamento l’output include il thinking nascosto, riportato come token di ragionamento. Fai il budget così:

  1. Stima del prompt = conteggio calibrato × 1,15 (un margine di sicurezza del 15 percento).
  2. Budget di risposta = la risposta più lunga che accetti.
  3. Budget di ragionamento = per i modelli thinking, almeno 1.000 token; la documentazione di BroadNet consiglia almeno 1.000 oppure reasoning_effort: "low", perché un limite basso può restituire una risposta vuota.
  4. max_tokens = budget di risposta + budget di ragionamento.
  5. Verifica: stima del prompt + max_tokens ≤ finestra di contesto. Se non ci sta, taglia il prompt, non la risposta.

Finestre di contesto su BroadNet Inference, dal file dei prezzi pubblicato:

Modello Finestra di contesto Tetto pratico del prompt con 16K di output e margine del 15%
DeepSeek V4.1 Flash 1.048.576 circa 897.000
GLM 5.3 1.048.576 circa 897.000
Qwen3.8 27B 262.144 circa 213.000
Gemma 4 VL 26B 32.768 circa 14.000

La colonna del tetto è (finestra − 16.384) ÷ 1,15, arrotondata per difetto. Sostituisci 16.384 con il tuo max_tokens.

Cosa va storto nelle stime dei token?

  • Contare le parole invece dei token. La regola delle 0,75 parole per token vale per l’inglese. Il nostro campione arabo di 29 parole andava da 46 a 102 token a seconda del tokenizer.
  • Dimenticare tool e prompt di sistema. Gli schemi dei tool sono JSON, che è denso di token. Contali come parte del prompt.
  • Dare per scontato un troncamento silenzioso. Alcuni strumenti scartano i messaggi vecchi senza dirtelo. BroadNet dichiara di non tagliare il tuo contesto, quindi verifica la dimensione prima dell’invio invece di contare sul server per tagliarla. Il calcolatore della finestra di contesto fa la verifica per te.
  • Ignorare la crescita della cronologia. In una chat o in un ciclo di agente il prompt cresce a ogni turno. Ricontrolla il budget a ogni chiamata, non una volta per sessione. Una cronologia stabile sfrutta anche meglio la cache; vedi struttura del prompt per la cache.

Se lavori in arabo, il tokenizer è un motivo in più per provare i modelli sul tuo testo; il resto è in scegliere un LLM per l’arabo. Per trasformare i conteggi di token in una fattura mensile, vedi come stimare il costo di un’API LLM prima del lancio.

Dove si inserisce BroadNet Inference

BroadNet Inference restituisce in ogni risposta prompt_tokens, completion_tokens e, quando il modello li riporta, i conteggi dei token in cache e di ragionamento: è tutto ciò che serve per calibrare. Non pubblica un endpoint di conteggio né i tokenizer per modello, quindi i conteggi prima dell’invio sono stime. Il lavoro a contesto lungo sui modelli da 1M di token è trattato nella guida alla finestra di contesto, e i prezzi per 1M di token sono nella pagina dei prezzi.

Domande frequenti

Quanti token sono una parola?

Nel dataset di tokenizer di BroadRouter, che riunisce cinque tokenizer (quelli dei quattro modelli chat di BroadNet e o200k_base di OpenAI; la tabella di esempio dell’articolo aggiunge cl100k_base), 1.000 parole in inglese sono circa 1,290 token, cioè circa 1.29 token per parola. La regola empirica diffusa, 0,75 parole per token, è vicina per la prosa inglese. L’arabo, le altre scritture non latine e il codice usano più token per parola. Misura il tuo testo con il modello che chiami.

Posso usare tiktoken per contare i token di DeepSeek, Qwen o Gemma?

Solo come stima approssimativa. tiktoken implementa le codifiche di OpenAI. Le altre famiglie di modelli distribuiscono tokenizer propri, spesso su Hugging Face, e i conteggi cambiano. Calibra sul campo usage.

Esiste uno strumento gratuito per contare i token di DeepSeek, Qwen, GLM o Gemma?

Sì. Il contatore di token gratuito di BroadRouter esegue nel browser i tokenizer pubblicati di queste famiglie di modelli, quindi il testo non lascia il tuo computer. Considera il conteggio una stima di ciò che riporterà l’API, perché i chat template aggiungono qualche token.

Cosa succede se il mio prompt è più lungo della finestra di contesto?

La maggior parte delle API restituisce un errore. Alcuni strumenti tagliano in silenzio i messaggi vecchi. BroadNet non taglia il tuo contesto, quindi verifica prompt più max_tokens rispetto alla finestra prima dell’invio.

Quanto margine devo lasciare per max_tokens?

Stima la risposta più lunga che ti aspetti, aggiungi il budget di ragionamento per i modelli thinking e tieni libero dal 10 al 20 percento della finestra per l’errore di stima.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity