Quase tudo o que um agente envia a um LLM é igual a cada turno: o prompt de sistema, as definições das ferramentas, os arquivos em que ele está trabalhando e a conversa até ali. Só a última mensagem é nova. Com o prompt caching, o provedor não cobra essa parte repetida pelo preço cheio.
O que é um token de entrada em cache?
Toda requisição é feita de tokens de entrada e de saída. Antes de responder, o modelo processa o prompt inteiro. Se uma requisição anterior começou exatamente com os mesmos tokens, o sistema de serving pode reaproveitar esse trabalho em vez de refazê-lo. A parte reaproveitada é informada como tokens de entrada em cache e cobrada por uma tarifa menor.
Desse funcionamento saem duas consequências:
- Só o prefixo entra em cache. A comparação começa no primeiro token e para na primeira diferença.
- A resposta nunca entra em cache. O modelo continua gerando saída nova, cobrada pelo preço cheio de saída.
Quanto custam os tokens em cache na BroadNet Inference?
Por 1 milhão de tokens, segundo o arquivo de preços publicado:
| Modelo | Entrada nova | Entrada em cache | Saída |
|---|---|---|---|
| DeepSeek V4.1 Flash | $0.175 | $0.0055 | $0.52 |
| GLM 5.3 | $0.78 | $0.173 | $3.46 |
| Qwen3.8 27B | $0.175 | $0.0435 | $2.17 |
No DeepSeek V4.1 Flash a diferença é grande: compare $0.0055 por 1M de tokens em cache com $0.175 por 1M de tokens novos. Para um agente que reenvia um repositório de 200.000 tokens a cada turno, a taxa de cache decide a maior parte da conta.
Quanto o cache pode economizar? Um exemplo prático
Um agente de código envia um prompt de 200.000 tokens 100 vezes em um dia de trabalho. São 20 milhões de tokens de entrada por dia.
| Taxa de cache | Tokens de entrada novos | Tokens de entrada em cache |
|---|---|---|
| 0% | 20M a $0.175 por 1M | 0 |
| 50% | 10M a $0.175 por 1M | 10M a $0.0055 por 1M |
| 90% | 2M a $0.175 por 1M | 18M a $0.0055 por 1M |
A fórmula da conta diária de entrada é new tokens (M) × input price + cached tokens (M) × cached price. Com 90%, 18M dos 20M de tokens de entrada são cobrados pelo preço de cache em vez do preço cheio de entrada, então quanto maior a diferença entre os dois preços, mais você economiza na parte de entrada da conta. A saída não muda. Teste os seus números na calculadora de prompt caching.
Como ver os tokens em cache na resposta da API?
A referência da API da BroadNet diz que, quando o modelo informa, o objeto usage traz prompt_tokens_details.cached_tokens: os tokens do prompt lidos do cache, cobrados pelo preço de cache. Em um stream, peça usage no último chunk:
from openai import OpenAI
import os
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
messages = [
{"role": "system", "content": "You are a code reviewer."}, # stable prefix: keep it identical
{"role": "user", "content": "Review the diff below."},
]
stream = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash",
messages=messages,
stream=True,
stream_options={"include_usage": True},
)
for chunk in stream:
if chunk.usage:
u = chunk.usage
cached = (u.prompt_tokens_details.cached_tokens if u.prompt_tokens_details else 0) or 0
print(f"prompt={u.prompt_tokens} cached={cached} rate={cached / max(1, u.prompt_tokens):.0%}")
Registre essa taxa por requisição durante um dia. Ela mostra quanto você paga de verdade, e é o número para colocar na calculadora de prompt caching. Mais sobre usage em streaming no guia de streaming.
Como o prompt caching difere entre OpenAI, Anthropic e DeepSeek?
O cache não é padronizado. Veja o que a documentação oficial dizia quando a consultamos em 14 de novembro de 2026:
| OpenAI | Anthropic | DeepSeek (API direta) | |
|---|---|---|---|
| Ativação | Por padrão nos modelos compatíveis | Opcional, com um campo cache_control (automático ou por bloco) |
Por padrão para todos os usuários |
| Prompt mínimo | 1.024 tokens no GPT-5.6 e posteriores | De 512 a 4.096 tokens, conforme o modelo | Nenhum mínimo informado |
| Duração do cache | 30 minutos por padrão no GPT-5.6 e posteriores; opção de 12 horas | 5 minutos por padrão, 1 hora com custo extra | Melhor esforço; limpo quando não usado, “a few hours to a few days” (tradução: de algumas horas a alguns dias) |
| Gravações | 1,25× a entrada (30 minutos) ou 2,5× (12 horas) no GPT-5.6 e posteriores | 1,25× a entrada por 5 minutos, 2× por 1 hora | Nenhuma cobrança de gravação mencionada |
| Leituras | 0,1× a entrada no GPT-5.6 e posteriores (0,05× no GPT-6.1 Sol e Terra) | 0,1× a entrada na maioria dos modelos, menos em alguns | Preço separado de “cache hit” |
| Campo de usage | cached_tokens nos detalhes de tokens |
cache_read_input_tokens |
prompt_cache_hit_tokens |
Fontes: guia de prompt caching da OpenAI, documentação de prompt caching da Anthropic e documentação de context caching da DeepSeek. Onde as gravações custam mais, um cache gravado e nunca lido sai mais caro do que não ter cache. O cache só compensa em prompts que você realmente repete. Para comparar preços de tabela por modelo, veja a tabela de preços de API de LLM.
O que derruba a sua taxa de cache?
O cache compara um prefixo exato, então qualquer coisa que mude no começo do prompt transforma todo o resto em entrada nova. As causas mais comuns:
- um timestamp, um ID de requisição ou um nome de usuário no topo do prompt de sistema;
- definições de ferramentas ou JSON serializados com uma ordem de chaves diferente a cada chamada, o que muda os tokens;
- um agente que reescreve ou resume o próprio histórico em vez de acrescentar ao final;
- pausas longas, depois das quais o cache expirou.
A solução é uma ordem fixa de camadas (prompt de sistema, ferramentas, documentos, histórico, mensagem nova), com cada camada idêntica byte a byte entre as chamadas. O nosso guia sobre como estruturar prompts para o prefixo entrar em cache mostra esse layout em código, com um teste que prova que o prefixo é reaproveitado.
Quando o cache deixa de importar?
Num plano de preço fixo, a conta não depende de tokens. O Full Moon custa $60 por mês por sessão para DeepSeek V4.1 Flash ilimitado. Se o seu agente já passa do ponto de equilíbrio, a taxa de cache deixa de ser um problema de custo. Em prompts longos, os hábitos acima ainda ajudam na velocidade, então vale mantê-los de qualquer forma.
Por que o cache importa mais com contexto longo?
O DeepSeek V4.1 Flash e o GLM 5.3 aceitam até 1.048.576 tokens por requisição. É o cache que torna prompts muito longos viáveis numa chave por token, porque a parte grande e repetida da janela de contexto é cobrada pela tarifa de cache. Veja quando vale a pena uma janela de contexto de 1M de tokens.
Onde a BroadNet Inference se encaixa
A BroadNet publica um preço de entrada em cache para cada modelo de chat que tem um e informa os tokens em cache em usage quando o modelo os reporta, para você medir a sua taxa antes de se comprometer. Ela não publica a duração do cache nem o tamanho mínimo do prompt, então meça isso no seu próprio tráfego. Se o seu agente roda o dia todo, um plano de preço fixo elimina a questão de vez.
