Gran parte di ciò che un agente invia è uguale a ogni turno. Il prompt caching permette al provider di non ricalcolare quella parte ripetuta e di fatturarla meno.
Come funziona
Quando un modello legge un prompt, calcola uno stato interno per ogni token. Un provider può conservare quello stato per poco tempo. Se la richiesta successiva inizia con gli stessi token, il provider legge lo stato salvato invece di ricalcolarlo. Quei token sono i token di input in cache.
Le cache confrontano il prompt a partire dall’inizio. La guida di OpenAI dice che il riuso “requires the entire rendered prefix to match” (traduzione: richiede che l’intero prefisso renderizzato coincida). Un solo carattere cambiato all’inizio del prompt rende input nuovo tutto ciò che segue.
I provider differiscono nei dettagli:
- OpenAI attiva la cache per impostazione predefinita sui modelli supportati e riporta gli hit nel blocco usage. Documenta un prefisso minimo di 1.024 token sui modelli più recenti.
- Anthropic fattura le letture dalla cache a 0,1 volte il prezzo base dell’input per la maggior parte dei modelli, fattura le scritture in cache con un sovrapprezzo e conserva le voci per 5 minuti per impostazione predefinita.
Nel formato Chat Completions, gli hit compaiono come usage.prompt_tokens_details.cached_tokens. Il tasso di cache è quel numero diviso per prompt_tokens.
Perché è importante
Con prompt lunghi e ripetuti, il tasso di cache decide la spesa. Un agente che rimanda a ogni turno un repository da 200.000 token paga il prezzo pieno di input una volta e poi il prezzo in cache, finché il prefisso resta stabile. La cache può anche ridurre il tempo al primo token sui prompt lunghi, perché prima della generazione c’è meno lavoro da fare.
Per alzare il tasso, metti prima i contenuti stabili (system prompt, definizioni degli strumenti, documenti) e per ultimi quelli che cambiano. Tieni timestamp e ID delle richieste fuori dall’inizio del prompt, e mantieni gli elenchi di strumenti in un ordine fisso. Quanti listini pubblici dei provider includono un prezzo per l’input in cache, e lo sconto tipico, lo trovi nell’indice dei prezzi delle API LLM.
Su BroadNet Inference
BroadNet pubblica prezzi per l’input in cache per tre modelli di chat, per 1M di token:
| Modello | Input nuovo | Input in cache |
|---|---|---|
| DeepSeek V4.1 Flash | $0.175 | $0.0055 |
| GLM 5.3 | $0.78 | $0.173 |
| Qwen3.8 27B | $0.175 | $0.0435 |
I token in cache sono fatturati automaticamente al prezzo più basso, e prompt_tokens_details.cached_tokens li mostra quando il modello li riporta. In uno stream, richiedi l’usage con stream_options come mostrato nella guida allo streaming.
Con un piano flat non c’è un contatore di token, quindi il tasso di cache non cambia la spesa. La spiegazione completa, con il codice per registrare il tuo tasso, è in token di input in cache spiegati.