BroadRouter
Inizia

Token di input in cache: come ridurre la bolletta delle API LLM

A cura del team di BroadNet Inference · 5 min di lettura · Pubblicato · Aggiornato

I token di input in cache sono token del prompt che il provider ha già elaborato e può riutilizzare, quindi si pagano a una tariffa più bassa. Su BroadNet Inference, DeepSeek V4.1 Flash fattura l’input in cache a $0.0055 per 1M di token, contro $0.175 per l’input nuovo. Per ottenere lo sconto, metti la parte stabile di ogni prompt all’inizio e tienila identica tra le chiamate.

Quasi tutto quello che un agente invia a un LLM è uguale a ogni turno: il prompt di sistema, le definizioni degli strumenti, i file su cui sta lavorando e la conversazione fin lì. Solo l’ultimo messaggio è nuovo. Con il prompt caching, il provider non ti fa pagare quella parte ripetuta a prezzo pieno.

Che cos’è un token di input in cache?

Ogni richiesta è fatta di token di input e di output. Prima di rispondere, il modello elabora l’intero prompt. Se una richiesta precedente iniziava esattamente con gli stessi token, il sistema di serving può riutilizzare quel lavoro invece di rifarlo. La parte riutilizzata viene riportata come token di input in cache e fatturata a una tariffa più bassa.

Da questo meccanismo derivano due conseguenze:

  • Va in cache solo il prefisso. Il confronto parte dal primo token e si ferma alla prima differenza.
  • La risposta non va mai in cache. Il modello genera comunque output nuovo, fatturato al prezzo pieno dell’output.

Quanto costano i token in cache su BroadNet Inference?

Per 1 milione di token, dal file dei prezzi pubblicato:

Modello Input nuovo Input in cache Output
DeepSeek V4.1 Flash $0.175 $0.0055 $0.52
GLM 5.3 $0.78 $0.173 $3.46
Qwen3.8 27B $0.175 $0.0435 $2.17

Su DeepSeek V4.1 Flash il divario è ampio: confronta $0.0055 per 1M di token in cache con $0.175 per 1M di token nuovi. Per un agente che a ogni turno reinvia un repository da 200.000 token, la percentuale di cache decide gran parte della fattura.

Quanto puoi risparmiare con la cache? Un esempio pratico

Un agente di coding invia un prompt da 200.000 token 100 volte in una giornata di lavoro. Sono 20 milioni di token di input al giorno.

Percentuale di cache Token di input nuovi Token di input in cache
0% 20M a $0.175 per 1M 0
50% 10M a $0.175 per 1M 10M a $0.0055 per 1M
90% 2M a $0.175 per 1M 18M a $0.0055 per 1M

La formula per il costo giornaliero dell’input è new tokens (M) × input price + cached tokens (M) × cached price. Al 90%, 18M dei 20M di token di input sono fatturati al prezzo cache invece che al prezzo pieno di input, quindi più è ampio il divario tra i due prezzi, più risparmi sulla parte di fattura legata all’input. L’output non cambia. Prova i tuoi numeri nel calcolatore del prompt caching.

Come vedi i token in cache nella risposta dell’API?

Il riferimento API di BroadNet dice che, quando il modello li riporta, l’oggetto usage contiene prompt_tokens_details.cached_tokens: i token del prompt letti dalla cache, fatturati al prezzo cache. In uno stream, chiedi usage nell’ultimo chunk:

from openai import OpenAI
import os

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
messages = [
    {"role": "system", "content": "You are a code reviewer."},  # stable prefix: keep it identical
    {"role": "user", "content": "Review the diff below."},
]
stream = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    messages=messages,
    stream=True,
    stream_options={"include_usage": True},
)
for chunk in stream:
    if chunk.usage:
        u = chunk.usage
        cached = (u.prompt_tokens_details.cached_tokens if u.prompt_tokens_details else 0) or 0
        print(f"prompt={u.prompt_tokens} cached={cached} rate={cached / max(1, u.prompt_tokens):.0%}")

Registra quella percentuale per ogni richiesta per una giornata. Ti dice quanto paghi davvero, ed è il numero da inserire nel calcolatore del prompt caching. Altro sull’usage in streaming nella guida allo streaming.

Come cambia il prompt caching tra OpenAI, Anthropic e DeepSeek?

La cache non è standardizzata. Ecco cosa diceva la documentazione ufficiale quando l’abbiamo consultata il 14 novembre 2026:

OpenAI Anthropic DeepSeek (API diretta)
Attivazione Predefinita per i modelli supportati Su richiesta, con un campo cache_control (automatico o per blocco) Predefinita per tutti gli utenti
Prompt minimo 1.024 token su GPT-5.6 e successivi Da 512 a 4.096 token, a seconda del modello Nessun minimo indicato
Durata della cache 30 minuti di default su GPT-5.6 e successivi; opzione da 12 ore 5 minuti di default, 1 ora con sovrapprezzo Best effort; svuotata se inutilizzata, “a few hours to a few days” (traduzione: da qualche ora a qualche giorno)
Scritture 1,25× l’input (30 minuti) o 2,5× (12 ore) su GPT-5.6 e successivi 1,25× l’input per 5 minuti, 2× per 1 ora Nessun costo di scrittura indicato
Letture 0,1× l’input su GPT-5.6 e successivi (0,05× su GPT-6.1 Sol e Terra) 0,1× l’input sulla maggior parte dei modelli, meno su alcuni Prezzo “cache hit” separato
Campo in usage cached_tokens nei dettagli dei token cache_read_input_tokens prompt_cache_hit_tokens

Fonti: guida di OpenAI al prompt caching, documentazione di Anthropic sul prompt caching e documentazione di DeepSeek sul context caching. Dove le scritture costano di più, una cache scritta ma mai letta costa più di nessuna cache. La cache conviene solo sui prompt che ripeti davvero. Per confrontare i prezzi di listino per modello, vedi la tabella dei prezzi delle API LLM.

Che cosa abbassa la tua percentuale di cache?

La cache confronta un prefisso esatto, quindi qualsiasi cosa cambi all’inizio del prompt rende nuovo tutto il resto. Le cause più comuni:

  • un timestamp, un ID di richiesta o un nome utente in cima al prompt di sistema;
  • definizioni degli strumenti o JSON serializzati con un ordine delle chiavi diverso a ogni chiamata, che cambia i token;
  • un agente che riscrive o riassume la propria cronologia invece di aggiungere in coda;
  • pause lunghe, dopo le quali la cache è scaduta.

La soluzione è un ordine fisso dei livelli (prompt di sistema, strumenti, documenti, cronologia, nuovo messaggio), con ogni livello identico byte per byte tra le chiamate. La nostra guida su come strutturare i prompt perché il prefisso vada in cache mostra questo layout nel codice, con un test che dimostra il riutilizzo del prefisso.

Quando la cache smette di contare?

Con un piano flat la fattura non dipende affatto dai token. Full Moon costa $60 al mese per sessione per DeepSeek V4.1 Flash illimitato. Se il tuo agente supera già il punto di pareggio, la percentuale di cache non è più un problema di costi. Sui prompt lunghi le abitudini descritte sopra aiutano comunque la velocità, quindi vale la pena mantenerle in ogni caso.

Perché la cache conta di più con un contesto lungo?

DeepSeek V4.1 Flash e GLM 5.3 accettano fino a 1.048.576 token per richiesta. È la cache a rendere sostenibili i prompt molto lunghi su una chiave a token, perché la parte grande e ripetuta della finestra di contesto si paga alla tariffa cache. Vedi quando conviene una finestra di contesto da 1M di token.

Dove si colloca BroadNet Inference

BroadNet pubblica un prezzo per l’input in cache per ogni modello di chat che lo prevede, e riporta i token in cache in usage quando il modello li fornisce, così puoi misurare la tua percentuale prima di impegnarti. Non pubblica né la durata della cache né la lunghezza minima del prompt, quindi misurale sul tuo traffico. Se il tuo agente lavora tutto il giorno, un piano flat elimina del tutto la questione.

Domande frequenti

Devo attivare io il prompt caching?

Dipende dal provider. OpenAI e DeepSeek usano la cache in automatico; Anthropic richiede un campo cache_control. Su BroadNet Inference controlla il blocco usage: quando il modello riporta i token in cache, compaiono in prompt_tokens_details.cached_tokens e si pagano al prezzo dell’input in cache.

Come faccio a sapere se il prompt caching funziona?

Chiedi usage a ogni richiesta e calcola cached_tokens diviso prompt_tokens. Una percentuale vicina a zero alla seconda chiamata di un prompt lungo e ripetuto significa che qualcosa all’inizio del prompt cambia tra una chiamata e l’altra.

Perché la mia percentuale di cache è bassa?

Di solito perché qualcosa all’inizio del prompt cambia a ogni chiamata, per esempio un timestamp, un ID di richiesta o un elenco di strumenti riordinato. Sposta il contenuto variabile in fondo.

Che differenza c’è tra prompt caching e cache delle risposte?

Il prompt caching riutilizza il lavoro del provider su un prefisso ripetuto del prompt, e il modello scrive comunque una risposta nuova. La cache delle risposte la costruisci tu, salvando risposte intere e restituendole per domande identiche senza chiamare il modello.

I token in cache sono gratis?

No. Si pagano a una tariffa più bassa, non zero. Su DeepSeek V4.1 Flash l’input in cache costa $0.0055 per 1M di token, e l’output si paga per intero.

La cache conta qualcosa con un piano illimitato?

Non per la fattura, perché le sessioni dei piani non hanno un contatore di token. In molti sistemi di serving riduce comunque il tempo al primo token sui prompt lunghi, quindi le stesse abitudini restano utili.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity