BroadRouter
Começar

Tokens de entrada em cache: como reduzir a conta de API de LLM

Pela equipe da BroadNet Inference · 5 min de leitura · Publicado em · Atualizado em

Tokens de entrada em cache são tokens do prompt que o provedor já processou e pode reaproveitar, por isso são cobrados por uma tarifa menor. Na BroadNet Inference, o DeepSeek V4.1 Flash cobra a entrada em cache a $0.0055 por 1M de tokens, contra $0.175 da entrada nova. Para ganhar o desconto, deixe a parte estável de cada prompt no início e idêntica entre as chamadas.

Quase tudo o que um agente envia a um LLM é igual a cada turno: o prompt de sistema, as definições das ferramentas, os arquivos em que ele está trabalhando e a conversa até ali. Só a última mensagem é nova. Com o prompt caching, o provedor não cobra essa parte repetida pelo preço cheio.

O que é um token de entrada em cache?

Toda requisição é feita de tokens de entrada e de saída. Antes de responder, o modelo processa o prompt inteiro. Se uma requisição anterior começou exatamente com os mesmos tokens, o sistema de serving pode reaproveitar esse trabalho em vez de refazê-lo. A parte reaproveitada é informada como tokens de entrada em cache e cobrada por uma tarifa menor.

Desse funcionamento saem duas consequências:

  • Só o prefixo entra em cache. A comparação começa no primeiro token e para na primeira diferença.
  • A resposta nunca entra em cache. O modelo continua gerando saída nova, cobrada pelo preço cheio de saída.

Quanto custam os tokens em cache na BroadNet Inference?

Por 1 milhão de tokens, segundo o arquivo de preços publicado:

Modelo Entrada nova Entrada em cache Saída
DeepSeek V4.1 Flash $0.175 $0.0055 $0.52
GLM 5.3 $0.78 $0.173 $3.46
Qwen3.8 27B $0.175 $0.0435 $2.17

No DeepSeek V4.1 Flash a diferença é grande: compare $0.0055 por 1M de tokens em cache com $0.175 por 1M de tokens novos. Para um agente que reenvia um repositório de 200.000 tokens a cada turno, a taxa de cache decide a maior parte da conta.

Quanto o cache pode economizar? Um exemplo prático

Um agente de código envia um prompt de 200.000 tokens 100 vezes em um dia de trabalho. São 20 milhões de tokens de entrada por dia.

Taxa de cache Tokens de entrada novos Tokens de entrada em cache
0% 20M a $0.175 por 1M 0
50% 10M a $0.175 por 1M 10M a $0.0055 por 1M
90% 2M a $0.175 por 1M 18M a $0.0055 por 1M

A fórmula da conta diária de entrada é new tokens (M) × input price + cached tokens (M) × cached price. Com 90%, 18M dos 20M de tokens de entrada são cobrados pelo preço de cache em vez do preço cheio de entrada, então quanto maior a diferença entre os dois preços, mais você economiza na parte de entrada da conta. A saída não muda. Teste os seus números na calculadora de prompt caching.

Como ver os tokens em cache na resposta da API?

A referência da API da BroadNet diz que, quando o modelo informa, o objeto usage traz prompt_tokens_details.cached_tokens: os tokens do prompt lidos do cache, cobrados pelo preço de cache. Em um stream, peça usage no último chunk:

from openai import OpenAI
import os

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
messages = [
    {"role": "system", "content": "You are a code reviewer."},  # stable prefix: keep it identical
    {"role": "user", "content": "Review the diff below."},
]
stream = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    messages=messages,
    stream=True,
    stream_options={"include_usage": True},
)
for chunk in stream:
    if chunk.usage:
        u = chunk.usage
        cached = (u.prompt_tokens_details.cached_tokens if u.prompt_tokens_details else 0) or 0
        print(f"prompt={u.prompt_tokens} cached={cached} rate={cached / max(1, u.prompt_tokens):.0%}")

Registre essa taxa por requisição durante um dia. Ela mostra quanto você paga de verdade, e é o número para colocar na calculadora de prompt caching. Mais sobre usage em streaming no guia de streaming.

Como o prompt caching difere entre OpenAI, Anthropic e DeepSeek?

O cache não é padronizado. Veja o que a documentação oficial dizia quando a consultamos em 14 de novembro de 2026:

OpenAI Anthropic DeepSeek (API direta)
Ativação Por padrão nos modelos compatíveis Opcional, com um campo cache_control (automático ou por bloco) Por padrão para todos os usuários
Prompt mínimo 1.024 tokens no GPT-5.6 e posteriores De 512 a 4.096 tokens, conforme o modelo Nenhum mínimo informado
Duração do cache 30 minutos por padrão no GPT-5.6 e posteriores; opção de 12 horas 5 minutos por padrão, 1 hora com custo extra Melhor esforço; limpo quando não usado, “a few hours to a few days” (tradução: de algumas horas a alguns dias)
Gravações 1,25× a entrada (30 minutos) ou 2,5× (12 horas) no GPT-5.6 e posteriores 1,25× a entrada por 5 minutos, 2× por 1 hora Nenhuma cobrança de gravação mencionada
Leituras 0,1× a entrada no GPT-5.6 e posteriores (0,05× no GPT-6.1 Sol e Terra) 0,1× a entrada na maioria dos modelos, menos em alguns Preço separado de “cache hit”
Campo de usage cached_tokens nos detalhes de tokens cache_read_input_tokens prompt_cache_hit_tokens

Fontes: guia de prompt caching da OpenAI, documentação de prompt caching da Anthropic e documentação de context caching da DeepSeek. Onde as gravações custam mais, um cache gravado e nunca lido sai mais caro do que não ter cache. O cache só compensa em prompts que você realmente repete. Para comparar preços de tabela por modelo, veja a tabela de preços de API de LLM.

O que derruba a sua taxa de cache?

O cache compara um prefixo exato, então qualquer coisa que mude no começo do prompt transforma todo o resto em entrada nova. As causas mais comuns:

  • um timestamp, um ID de requisição ou um nome de usuário no topo do prompt de sistema;
  • definições de ferramentas ou JSON serializados com uma ordem de chaves diferente a cada chamada, o que muda os tokens;
  • um agente que reescreve ou resume o próprio histórico em vez de acrescentar ao final;
  • pausas longas, depois das quais o cache expirou.

A solução é uma ordem fixa de camadas (prompt de sistema, ferramentas, documentos, histórico, mensagem nova), com cada camada idêntica byte a byte entre as chamadas. O nosso guia sobre como estruturar prompts para o prefixo entrar em cache mostra esse layout em código, com um teste que prova que o prefixo é reaproveitado.

Quando o cache deixa de importar?

Num plano de preço fixo, a conta não depende de tokens. O Full Moon custa $60 por mês por sessão para DeepSeek V4.1 Flash ilimitado. Se o seu agente já passa do ponto de equilíbrio, a taxa de cache deixa de ser um problema de custo. Em prompts longos, os hábitos acima ainda ajudam na velocidade, então vale mantê-los de qualquer forma.

Por que o cache importa mais com contexto longo?

O DeepSeek V4.1 Flash e o GLM 5.3 aceitam até 1.048.576 tokens por requisição. É o cache que torna prompts muito longos viáveis numa chave por token, porque a parte grande e repetida da janela de contexto é cobrada pela tarifa de cache. Veja quando vale a pena uma janela de contexto de 1M de tokens.

Onde a BroadNet Inference se encaixa

A BroadNet publica um preço de entrada em cache para cada modelo de chat que tem um e informa os tokens em cache em usage quando o modelo os reporta, para você medir a sua taxa antes de se comprometer. Ela não publica a duração do cache nem o tamanho mínimo do prompt, então meça isso no seu próprio tráfego. Se o seu agente roda o dia todo, um plano de preço fixo elimina a questão de vez.

Perguntas frequentes

Preciso ativar o prompt caching?

Depende do provedor. A OpenAI e a DeepSeek fazem cache automaticamente; a Anthropic exige um campo cache_control. Na BroadNet Inference, confira o bloco usage: quando o modelo informa tokens em cache, eles aparecem em prompt_tokens_details.cached_tokens e são cobrados pelo preço da entrada em cache.

Como sei se o prompt caching está funcionando?

Peça usage em toda requisição e calcule cached_tokens dividido por prompt_tokens. Uma taxa perto de zero na segunda chamada de um prompt longo e repetido significa que algo no começo do prompt está mudando entre as chamadas.

Por que a minha taxa de cache está baixa?

Normalmente porque algo no começo do prompt muda a cada chamada, como um timestamp, um ID de requisição ou uma lista de ferramentas reordenada. Mova o conteúdo que muda para o final.

Qual é a diferença entre prompt caching e cache de respostas?

O prompt caching reaproveita o trabalho do provedor sobre um prefixo de prompt repetido, e o modelo ainda escreve uma resposta nova. O cache de respostas é algo que você mesmo constrói, guardando respostas inteiras e devolvendo-as para perguntas idênticas sem chamar o modelo.

Tokens em cache são de graça?

Não. Eles são cobrados por uma tarifa menor, não zero. No DeepSeek V4.1 Flash, a entrada em cache custa $0.0055 por 1M de tokens, e a saída é cobrada integralmente.

O cache faz diferença num plano ilimitado?

Não para a conta, porque as sessões de plano não têm medidor de tokens. Em muitos sistemas de serving ele ainda reduz o tempo até o primeiro token em prompts longos, então os mesmos hábitos ajudam.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity