BroadRouter

Token di input in cache (cached input)

Aggiornato

I token di input in cache sono token del prompt che un provider LLM ha elaborato da poco e può riusare da una cache invece di ricalcolarli, di solito un prefisso ripetuto come un system prompt o un documento. I provider li fatturano a una tariffa più bassa dei token di input nuovi.

Detto anche: token in cache, input in cache, prompt caching, cache del prompt, cache hit, cached input tokens, cached tokens, context caching, cache read tokens

Gran parte di ciò che un agente invia è uguale a ogni turno. Il prompt caching permette al provider di non ricalcolare quella parte ripetuta e di fatturarla meno.

Come funziona

Quando un modello legge un prompt, calcola uno stato interno per ogni token. Un provider può conservare quello stato per poco tempo. Se la richiesta successiva inizia con gli stessi token, il provider legge lo stato salvato invece di ricalcolarlo. Quei token sono i token di input in cache.

Le cache confrontano il prompt a partire dall’inizio. La guida di OpenAI dice che il riuso “requires the entire rendered prefix to match” (traduzione: richiede che l’intero prefisso renderizzato coincida). Un solo carattere cambiato all’inizio del prompt rende input nuovo tutto ciò che segue.

I provider differiscono nei dettagli:

  • OpenAI attiva la cache per impostazione predefinita sui modelli supportati e riporta gli hit nel blocco usage. Documenta un prefisso minimo di 1.024 token sui modelli più recenti.
  • Anthropic fattura le letture dalla cache a 0,1 volte il prezzo base dell’input per la maggior parte dei modelli, fattura le scritture in cache con un sovrapprezzo e conserva le voci per 5 minuti per impostazione predefinita.

Nel formato Chat Completions, gli hit compaiono come usage.prompt_tokens_details.cached_tokens. Il tasso di cache è quel numero diviso per prompt_tokens.

Perché è importante

Con prompt lunghi e ripetuti, il tasso di cache decide la spesa. Un agente che rimanda a ogni turno un repository da 200.000 token paga il prezzo pieno di input una volta e poi il prezzo in cache, finché il prefisso resta stabile. La cache può anche ridurre il tempo al primo token sui prompt lunghi, perché prima della generazione c’è meno lavoro da fare.

Per alzare il tasso, metti prima i contenuti stabili (system prompt, definizioni degli strumenti, documenti) e per ultimi quelli che cambiano. Tieni timestamp e ID delle richieste fuori dall’inizio del prompt, e mantieni gli elenchi di strumenti in un ordine fisso. Quanti listini pubblici dei provider includono un prezzo per l’input in cache, e lo sconto tipico, lo trovi nell’indice dei prezzi delle API LLM.

Su BroadNet Inference

BroadNet pubblica prezzi per l’input in cache per tre modelli di chat, per 1M di token:

Modello Input nuovo Input in cache
DeepSeek V4.1 Flash $0.175 $0.0055
GLM 5.3 $0.78 $0.173
Qwen3.8 27B $0.175 $0.0435

I token in cache sono fatturati automaticamente al prezzo più basso, e prompt_tokens_details.cached_tokens li mostra quando il modello li riporta. In uno stream, richiedi l’usage con stream_options come mostrato nella guida allo streaming.

Con un piano flat non c’è un contatore di token, quindi il tasso di cache non cambia la spesa. La spiegazione completa, con il codice per registrare il tuo tasso, è in token di input in cache spiegati.

Domande frequenti

I token in cache contano comunque nella finestra di contesto?

Sì. La cache cambia quanto paghi quei token, non il fatto che contino. La documentazione di Anthropic lo dice esplicitamente.

Quanto dura una cache?

Dipende dal provider. Anthropic ha una durata predefinita di 5 minuti, rinnovata ogni volta che la cache viene usata, con una durata opzionale di 1 ora. Altri provider non sempre pubblicano un tempo fisso, quindi misura il tuo tasso di hit.

La cache cambia la risposta?

No. La cache conserva il lavoro fatto sul prompt, non la risposta. Il modello genera comunque una risposta nuova.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity