I prompt più corti costano meno, lasciano più spazio nella finestra di contesto per il lavoro vero e di solito restituiscono prima il primo token. Ma “accorcia il prompt” è un consiglio vago. Questo articolo misura i tagli più comuni su un prompt realistico di un bot di assistenza, con i tokenizer reali di quattro modelli aperti e con o200k_base di OpenAI, così puoi vedere quali modifiche valgono il tuo tempo.
Se usi un agente di coding, il budget di token di un agente copre quel ciclo. Questo articolo riguarda i prompt applicativi: chatbot, classificatori e job di estrazione.
Come abbiamo misurato?
Tutti i conteggi qui sotto sono nostri, fatti il 15 novembre 2026:
- Tokenizer. I file
tokenizer.jsonufficiali di DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B e Gemma 4 26B A4B di Google, ciascuno a una revisione fissata di Hugging Face (vedi Fonti), caricati contokenizers0.23.3 di Hugging Face. In piùo200k_basedatiktoken0.14.0, per il confronto con i modelli GPT. I token speciali non sono stati aggiunti. - Prompt renderizzati. Per DeepSeek, GLM e Qwen abbiamo anche renderizzato richieste complete con il
chat_template.jinjapubblicato di ciascun modello (sandbox Jinja2), con prompt di sistema, tool, cronologia e domanda, e contato il risultato. È vicino a ciò che tokenizza un server, ma un provider può usare un template diverso, quindi l’ultima parola spetta aiusage.prompt_tokensdell’API. - Testo. Un bot di assistenza sintetico per un operatore telefonico immaginario: un prompt di sistema di 261 parole, 10 tool, 8 esempi few-shot, 40 righe di ordini, una cronologia di 20 turni e un paragrafo in arabo di 31 parole. Un prompt è un singolo dato. I tuoi risparmi saranno diversi; il metodo resta valido.
Gemma 4 VL 26B di BroadNet si basa sul modello di Google, quindi il suo conteggio è una stima. Gli altri usano i file dei modelli stessi.
Quali tagli fanno risparmiare più token?
Testo grezzo, prima → dopo, con la quota risparmiata:
| Modifica | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B | Gemma 4 | GPT o200k |
|---|---|---|---|---|---|
| Prompt di sistema: 261 parole → 66 parole | 295 → 88 (70%) | 294 → 89 (70%) | 297 → 95 (68%) | 297 → 96 (68%) | 293 → 86 (71%) |
| Few-shot: 8 esempi → 3 | 157 → 69 (56%) | 157 → 69 (56%) | 156 → 71 (54%) | 156 → 71 (54%) | 152 → 69 (55%) |
| 40 righe: JSON indentato → JSON minificato | 2.446 → 1.606 (34%) | 2.460 → 1.581 (36%) | 3.180 → 1.980 (38%) | 3.210 → 2.010 (37%) | 2.446 → 1.567 (36%) |
| 40 righe: JSON minificato → CSV | 1.606 → 948 (41%) | 1.581 → 960 (39%) | 1.980 → 1.359 (31%) | 2.010 → 1.382 (31%) | 1.567 → 946 (40%) |
| 10 tool: descrizioni prolisse → brevi | 1.224 → 806 (34%) | 1.214 → 797 (34%) | 1.225 → 806 (34%) | 1.252 → 827 (34%) | 1.202 → 796 (34%) |
| 10 tool prolissi → 3 brevi | 1.224 → 258 (79%) | 1.214 → 257 (79%) | 1.225 → 266 (78%) | 1.252 → 276 (78%) | 1.202 → 255 (79%) |
| Paragrafo arabo: completamente vocalizzato → semplice | 193 → 74 (62%) | 267 → 78 (71%) | 151 → 62 (59%) | 180 → 64 (64%) | 218 → 62 (72%) |
Per la prosa inglese le percentuali sono simili tra i tokenizer, quindi un taglio che aiuta su un modello aiuta anche sugli altri. Due righe rompono lo schema. I dati degli ordini sono costati a Qwen e Gemma dal 23 al 46% di token in più rispetto a DeepSeek e GLM in ogni formato, perché i loro tokenizer spezzano i numeri in singole cifre: 100200 è 6 token su Qwen e 2 su DeepSeek. E i diacritici arabi colpiscono alcuni tokenizer molto più di altri.
Com’è una richiesta completa?
Il testo grezzo non include il chat template. Renderizzato con il template di ciascun modello, con la stessa domanda del cliente, il prompt completo misurato è:
| Richiesta | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B |
|---|---|---|---|
| A. Prompt di sistema prolisso + 10 tool prolissi | 1.677 | 1.535 | 1.797 |
| B. Prompt di sistema sfoltito + 10 tool brevi | 1.052 | 913 | 1.176 |
| C. Prompt di sistema sfoltito + 3 tool brevi | 574 | 443 | 636 |
| D. Prompt di sistema sfoltito, nessun tool | 136 | 121 | 174 |
| C + 20 turni precedenti completi | 2.374 | 2.243 | 2.693 |
| C + riassunto di 3 righe + ultimi 4 turni | 979 | 849 | 1.103 |
Passare da A a C ha tolto circa dal 65 al 71% di ogni richiesta (64,6% su Qwen, 71,1% su GLM). Gran parte veniva dai tool. Renderizzati con il prompt di sistema prolisso, i 10 tool prolissi aggiungevano 1.334 token su DeepSeek, 1.209 su GLM e 1.421 su Qwen; i 3 tool brevi di C ne aggiungevano da 322 a 462 rispetto a D. Gli schemi per il tool calling viaggiano in ogni richiesta, che il modello li usi o no.
Sui grandi volumi la cosa si somma. Su Qwen3.8 27B, passare da A a C fa risparmiare 1.161 token a richiesta. Con 100.000 richieste al mese sono circa 116 milioni di token di input, cioè 116 × $0.175 al mese al prezzo standard dell’input.
Come sfoltire un prompt di sistema senza romperlo?
Il nostro prompt da 261 parole e quello da 66 contengono le stesse sette regole. I tagli erano tutti dello stesso tipo:
- Niente cortesie verso il modello. “It is very important that you always remain polite and courteous at all times” (È molto importante che tu resti sempre educato e cortese in ogni momento) è sparito: lo implica già la riga sul ruolo.
- Una regola per riga. Gli elenchi puntati sostituiscono le frasi del tipo “Please make sure that you always…” (Assicurati sempre di…).
- Unisci i doppioni. Tre frasi sulla lingua sono diventate “Reply in the customer’s language (Arabic or English), briefly.” (Rispondi nella lingua del cliente, arabo o inglese, in modo conciso.)
- Elimina i comportamenti predefiniti ripetuti. “Remember to always be helpful!” (Ricordati di essere sempre d’aiuto!) non cambia nulla.
Poi testa. Un prompt più corto che perde una regola costa più di quanto fa risparmiare. Esegui entrambe le versioni sugli stessi 50-100 input reali e confronta, come in valutare un LLM prima di cambiare.
Quanti esempi few-shot ti servono?
Meno di quanti ne contengano la maggior parte dei prompt. Ogni esempio few-shot si paga a ogni chiamata. Tieni quelli che correggono un errore che il modello fa senza di loro, come un esempio in dialetto per un classificatore arabo, ed elimina quelli che il modello già azzecca. Il nostro taglio da 8 a 3 ha fatto risparmiare dal 54 al 56% del blocco di esempi. Se 3 bastino per il tuo compito è una questione di accuratezza, non di token, quindi verificalo sul tuo set di test.
Conviene inviare tool, dati e cronologia in modo diverso?
Tool. Invia solo i tool che il passaggio corrente può usare. Una domanda sulla bolletta richiede get_account, get_bill e create_ticket, non order_esim. Accorcia le descrizioni a ciò che serve al modello per scegliere e compilare il tool. L’indentazione qui non conta: i template che abbiamo renderizzato riserializzano tutti l’array tools con tojson, quindi un array di tool formattato costa quanto uno minificato.
Dati nei messaggi. I dati che incolli in un messaggio vengono inviati così come sono. Come minimo, minifica il JSON. Per record piatti, CSV o TSV eliminano le chiavi ripetute: dal 31 al 41% di token in meno del JSON minificato nel nostro test. I dati annidati restano in JSON. Verifica che il modello legga ancora correttamente le colonne.
Cronologia. Ogni turno passato viene reinviato. Sostituire 16 turni vecchi con un riassunto di tre righe, tenendo gli ultimi quattro alla lettera, ha ridotto il prompt Qwen da 2.693 a 1.103 token. Un riassunto perde dettagli a cui l’utente potrebbe fare riferimento, e riscriverlo cambia il prefisso, il che rompe la cache. La gestione del contesto negli agenti di lunga durata spiega quando compattare.
Diacritici arabi. La maggior parte dell’arabo si scrive senza vocali brevi. Se il tuo input è completamente vocalizzato, da un dizionario, un libro di testo o una fonte religiosa, togliere i segni (da U+064B a U+0652) ha ridotto il nostro paragrafo dal 59 al 72%. Tienili quando il compito dipende da loro, come nella didattica o nella poesia. La normalizzazione del testo arabo copre gli altri caratteri da normalizzare, e token per parola in arabo il divario più ampio con l’inglese.
Dove entra la cache?
La cache non accorcia il prompt. Rende più economica la parte ripetuta. La guida di OpenAI al caching dice che deve coincidere «the entire rendered prefix» (traduzione: l’intero prefisso renderizzato) e consiglia di mettere prima le istruzioni stabili. La pagina dei prezzi di BroadNet descrive l’input in cache come «usually the repeated start of recent requests, such as a long system prompt» (traduzione: di solito l’inizio ripetuto delle richieste recenti, come un lungo prompt di sistema), senza nulla da configurare, e la sua documentazione riporta gli hit in usage.prompt_tokens_details.cached_tokens.
Quindi l’ordine è: prima accorcia, poi rendi stabile il prefisso accorciato. Prompt di sistema e tool per primi, identici byte per byte a ogni chiamata; poi la cronologia, solo in aggiunta; il nuovo messaggio per ultimo. Su Qwen3.8 27B l’input in cache costa $0.0435 per 1M contro $0.175. La struttura del prompt per la cache mostra lo schema e un test che dimostra che il prefisso viene riutilizzato. I token in cache contano comunque nella finestra di contesto.
Come misurare il tuo prompt?
Parti dalla fattura. Registra usage.prompt_tokens per ogni punto di chiamata per un giorno e trova il più grande. Poi confronta le versioni in locale con questo script, che stampa i conteggi prima e dopo per due file:
# pip install tokenizers tiktoken huggingface_hub
import json, sys
import tiktoken
from huggingface_hub import hf_hub_download
from tokenizers import Tokenizer
def hf(repo, rev):
return Tokenizer.from_file(hf_hub_download(repo, "tokenizer.json", revision=rev))
COUNTERS = {
"Qwen3.8 27B": hf("Qwen/Qwen3.8-27B", "37561816e66b5b9153b1b64c10968c18c1e6f4a0").encode,
"GPT o200k": tiktoken.get_encoding("o200k_base").encode,
}
def n(enc, text):
out = enc(text)
return len(out.ids if hasattr(out, "ids") else out)
def diff(before, after):
for name, enc in COUNTERS.items():
a, b = n(enc, before), n(enc, after)
print(f"{name:12} {a:6} -> {b:6} saved {a - b} ({100 * (a - b) / a:.0f}%)")
if __name__ == "__main__":
diff(open(sys.argv[1], encoding="utf-8").read(), open(sys.argv[2], encoding="utf-8").read())
Eseguito sui nostri due prompt di sistema, ha stampato:
Qwen3.8 27B 297 -> 95 saved 202 (68%)
GPT o200k 293 -> 86 saved 207 (71%)
Aggiungi i repository degli altri modelli dall’elenco delle Fonti per confrontarli tutti e quattro. Per un controllo veloce nel browser, il confronto dei token del prompt mette due versioni fianco a fianco, e il contatore di token ne conta una. Dopo il deploy, conferma il risparmio in usage.prompt_tokens, che include il template.
Dove si colloca BroadNet Inference
BroadRouter è il sito di BroadNet. BroadNet Inference fattura i token del prompt al prezzo di input di ciascun modello e legge dalla cache i prefissi ripetuti al prezzo dell’input in cache dove il modello lo prevede, quindi sia i prompt più corti sia i prefissi stabili abbassano la fattura. Gemma 4 VL 26B ha un contesto di 32.768 token, dove sfoltire conta per farci stare il prompt oltre che per il costo. Sui piani DeepSeek V4.1 Flash non c’è contatore di token, ma il contesto da 1.048.576 token vale comunque, e un prompt più corto risponde comunque prima. I prompt non vengono conservati dopo ogni richiesta.
