Boa parte do que um agente envia é igual em todos os turnos. O prompt caching permite que o provedor deixe de recalcular essa parte repetida e a cobre mais barato.
Como funciona
Quando um modelo lê um prompt, ele calcula um estado interno para cada token. O provedor pode guardar esse estado por pouco tempo. Se a próxima requisição começar com os mesmos tokens, o provedor lê o estado guardado em vez de recalculá-lo. Esses tokens são os tokens de entrada em cache.
Os caches comparam a partir do início do prompt. O guia da OpenAI diz que o reaproveitamento “requires the entire rendered prefix to match” (tradução: exige que todo o prefixo renderizado seja igual). Um único caractere alterado no começo do prompt transforma tudo o que vem depois em entrada nova.
Os provedores variam nos detalhes:
- A OpenAI ativa o cache por padrão nos modelos suportados e informa os acertos no bloco usage. Ela documenta um prefixo mínimo de 1.024 tokens nos modelos mais novos.
- A Anthropic cobra leituras de cache a 0,1 vez o preço base de entrada na maioria dos modelos, cobra as gravações em cache com um acréscimo e mantém as entradas por 5 minutos por padrão.
No formato Chat Completions, os acertos aparecem como usage.prompt_tokens_details.cached_tokens. A taxa de cache é esse número dividido por prompt_tokens.
Por que importa
Com prompts longos e repetidos, a taxa de cache decide a conta. Um agente que reenvia um repositório de 200.000 tokens a cada turno paga o preço cheio de entrada uma vez e o preço de cache depois disso, desde que o prefixo continue estável. O cache também pode reduzir o tempo até o primeiro token em prompts longos, porque há menos trabalho antes de a geração começar.
Para aumentar a taxa, coloque o conteúdo estável primeiro (system prompt, definições de ferramentas, documentos) e o conteúdo que muda por último. Deixe timestamps e IDs de requisição fora do começo do prompt e mantenha as listas de ferramentas em uma ordem fixa. A parcela de preços publicados pelos provedores que inclui um preço de entrada em cache, e o desconto típico, estão no índice de preços de APIs de LLM.
Na BroadNet Inference
A BroadNet publica preços de entrada em cache para três modelos de chat, por 1M de tokens:
| Modelo | Entrada nova | Entrada em cache |
|---|---|---|
| DeepSeek V4.1 Flash | $0.175 | $0.0055 |
| GLM 5.3 | $0.78 | $0.173 |
| Qwen3.8 27B | $0.175 | $0.0435 |
Os tokens em cache são cobrados automaticamente pelo preço menor, e prompt_tokens_details.cached_tokens os mostra quando o modelo os informa. Em um stream, peça o usage com stream_options, como mostra o guia de streaming.
Em um plano de preço fixo não há medidor de tokens, então a taxa de cache não muda a conta. O passo a passo completo, com código para registrar a sua taxa, está em tokens de entrada em cache explicados.