BroadRouter
Começar

Orçamento de tokens de agentes: para onde vão os tokens de um loop

Pela equipe da BroadNet Inference · 5 min de leitura · Publicado em

Um loop de agente reenvia todo o contexto a cada chamada: system prompt, definições de ferramentas, histórico da conversa, conteúdo de arquivos e saída de ferramentas, mais o passo novo. A entrada costuma superar a saída muitas vezes. Registre prompt_tokens, cached_tokens e completion_tokens por chamada, encontre o maior bloco que se repete e então corte ferramentas, limite a saída delas e reinicie sessões longas.

Um chat custa o que você digita mais o que o modelo escreve. Um agente custa muito mais, porque chama o modelo dezenas de vezes e reenvia quase tudo a cada vez. Se você quer cortar esse custo, ou só parar de bater na janela de contexto, precisa saber qual parte de cada requisição é grande. Este post divide um loop de agente em cinco categorias, mostra como medir cada uma com os próprios dados de uso da API e lista o que cortar primeiro.

Por que um agente reenvia tudo?

As APIs de chat completions são stateless. O modelo não lembra nada entre uma chamada e outra, então o agente envia o contexto completo a cada passo. Uma tarefa de 40 passos em que cada chamada carrega 30.000 tokens lê 1,2 milhão de tokens de entrada para produzir talvez 40.000 tokens de saída. Essa proporção de 30 para 1 é o motivo de os tokens de entrada e o preço deles em cache dominarem a conta de agentes.

Para onde vão os tokens?

Categoria O que é Repete em toda chamada? Causa típica
System prompt Instruções do agente, arquivos de regras, notas do projeto Sim Arquivos de regras longos
Schemas de ferramentas Nome, descrição e JSON Schema de cada ferramenta Sim Ferramentas embutidas mais cada servidor MCP
Histórico Mensagens, chamadas de ferramenta e resultados anteriores Sim, e cresce Sessões longas
Leituras de arquivos e saída de ferramentas Conteúdo de arquivos, logs de teste, resultados de busca Sim, até serem removidos Ler arquivos inteiros, comandos verbosos
Saída Resposta visível, chamadas de ferramenta e raciocínio Não Esforço de raciocínio, reescrever arquivos inteiros

As duas primeiras são custo fixo. Em setembro de 2026, a Cursor escreveu que o system prompt e as definições de ferramentas “had become one of the largest sources of spend that we fully control” (tradução: tinham virado uma das maiores fontes de gasto que controlamos totalmente), e chamou as leituras de arquivos de “another large source of token spend” (tradução: outra grande fonte de gasto de tokens). As mudanças dela, incluindo cortar cerca de dois terços do system prompt e carregar só quando necessário as ferramentas usadas em menos de 20% das conversas, reduziram em 7% o custo de tokens dos usuários. A equipe do VS Code no GitHub apontou os mesmos dois custos no Copilot: o prefixo de prompt repetido e o peso das definições de ferramentas.

Como medir?

Você não precisa de um produto de tracing. O bloco usage de cada resposta basta.

  1. Ative o usage. Com streaming, adicione stream_options: {"include_usage": true}; o usage chega no último chunk. Veja streaming.
  2. Registre por chamada: número do passo, prompt_tokens, prompt_tokens_details.cached_tokens, completion_tokens e, quando informado, completion_tokens_details.reasoning_tokens.
  3. Meça o custo fixo uma vez. Envie uma requisição só com o system prompt e as ferramentas, e a palavra “hi”. O prompt_tokens dela é o seu piso.
  4. Meça a saída de uma ferramenta. Conte os caracteres de cada resultado de ferramenta antes de anexá-lo. Dividir por quatro dá uma contagem aproximada de tokens para inglês; cole uma amostra no contador de tokens gratuito para ter o número exato no tokenizer do seu modelo.
r = client.chat.completions.create(model=MODEL, messages=msgs, tools=tools)
u = r.usage
cached = getattr(u.prompt_tokens_details, "cached_tokens", 0) or 0
log.info("step=%d prompt=%d cached=%d out=%d", step, u.prompt_tokens, cached, u.completion_tokens)

Faça um gráfico de prompt_tokens por passo. Uma inclinação constante indica que o histórico está crescendo. Um salto repentino indica que um arquivo ou log grande entrou no contexto. Um piso alto indica ferramentas demais.

No Aider, /tokens mostra o que está no contexto atual, e /drop remove arquivos dele.

O que cortar primeiro?

Ordene por tamanho vezes repetições, não pelo que é mais fácil:

  1. Ferramentas sem uso. Cada schema de ferramenta vai junto em toda chamada. O guia da OpenAI diz que as definições de funções “are billed as input tokens” (tradução: são cobradas como tokens de entrada) e sugere, como regra flexível, menos de 20 funções no início de um turno. Desative os servidores MCP que você não usa nesta tarefa; a documentação do opencode diz com todas as letras que as ferramentas MCP consomem contexto do modelo.
  2. Saída de ferramentas. Limite a saída dos comandos (as últimas 200 linhas de um log de teste, não 20.000). Devolva resultados de busca como caminhos e números de linha, e depois leia só o que for necessário.
  3. Leituras de arquivos. Leia a função, não o arquivo. O mapa do repositório do Aider usa um orçamento padrão de 1k tokens (--map-tokens) em vez de arquivos inteiros.
  4. Histórico. Abra uma tarefa nova para cada mudança. Quando uma sessão precisa continuar, troque os turnos antigos por um resumo curto.
  5. System prompt. Tire as regras que o modelo já segue. Mantenha o resto estável.
  6. Saída. Peça diffs, não arquivos inteiros. Defina reasoning_effort como low para passos de rotina. Os tokens de raciocínio são cobrados como saída.

Por que manter o prefixo estável?

Os provedores guardam em cache um prefixo repetido e cobram por ele uma tarifa menor. Na BroadNet Inference, o DeepSeek V4.1 Flash cobra a entrada em cache a $0.0055 por 1M de tokens e a entrada nova a $0.175. O GLM 5.3 cobra $0.173 contra $0.78. Um timestamp no system prompt, ou ferramentas listadas numa ordem diferente a cada chamada, quebram o cache a partir daquele ponto. Coloque as partes estáveis primeiro, numa ordem fixa, e as que mudam por último. Mais detalhes em tokens de entrada em cache explicados; a calculadora de prompt caching mostra quanto uma dada taxa de acerto economiza.

O cache baixa o preço do prefixo, mas não o tamanho dele. Tokens em cache continuam ocupando a janela de contexto e continuam levando tempo para serem processados.

Como fica o orçamento de um agente de exemplo?

Pegue a tarefa de 40 passos acima, com 80% da entrada em cache:

Parte Tokens Cobrados a
Entrada nova 240.000 Preço de entrada
Entrada em cache 960.000 Preço de entrada em cache
Saída incluindo raciocínio 40.000 Preço de saída

Cortar 5.000 tokens de schemas de ferramentas sem uso em cada chamada tira 200.000 tokens de entrada desta tarefa, cerca de um sexto do total, sem mudar o comportamento do agente. Para as alavancas de custo além do corte, como escolha de modelo, cache e planos fixos, veja 10 formas de reduzir o custo de LLM de agentes de código. Para configurações multiagente, multiplique pelo número de agentes; veja quanto custam as configurações multiagente. Para modelar o seu próprio loop passo a passo, use o estimador de custo por execução de agente.

Onde a BroadNet Inference se encaixa

A BroadNet Inference devolve os tokens de prompt e de completion no bloco usage, mais os tokens em cache e de raciocínio quando o modelo os informa, então a medição acima funciona como está escrita. O preço baixo de entrada em cache no DeepSeek V4.1 Flash recompensa um prefixo estável. Se cortar não valer o seu tempo, os planos ilimitados removem o medidor de tokens do DeepSeek V4.1 Flash por $60 por mês por sessão; a janela de contexto continua valendo, e um contexto enxuto continua rodando mais rápido. Os planos estão em inference.broadnet.ai/plans.

Perguntas frequentes

Por que o meu agente de código usa tantos tokens de entrada?

Porque a API é stateless. Cada chamada reenvia o system prompt, todas as definições de ferramentas, a conversa até ali e todo o conteúdo de arquivos que ainda está no contexto. Uma sessão longa multiplica isso pelo número de passos.

Como vejo quantos tokens cada passo do agente usa?

Leia o bloco usage de cada resposta. Com streaming, defina stream_options include_usage como true e leia o último chunk. Registre prompt_tokens, prompt_tokens_details.cached_tokens e completion_tokens com o número do passo.

As definições de ferramentas contam como tokens de entrada?

Sim. A lista de ferramentas faz parte do prompt e vai em toda chamada. Os servidores MCP adicionam as ferramentas deles a essa lista, e é por isso que a documentação do opencode diz para adicionar só os servidores de que você precisa.

O prompt caching resolve o problema?

Ele corta o preço do prefixo repetido, não o tamanho dele. A entrada em cache continua ocupando a janela de contexto. Na BroadNet, o DeepSeek V4.1 Flash cobra a entrada em cache a $0.0055 por 1M de tokens contra $0.175 pela entrada nova.

Os tokens de raciocínio entram no orçamento?

Sim, do lado da saída. Modelos de raciocínio contam o raciocínio para o max_tokens e, no pagamento por uso, cobram como saída. Defina reasoning_effort como low para passos de rotina.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity