Um agente de programação que trabalha uma tarde inteira acumula muito histórico: arquivos lidos, comandos executados, saída de testes, planos, correções. A cada turno, tudo isso volta para o modelo. A forma como você gerencia esse contexto crescente decide três coisas ao mesmo tempo: quanto custa cada turno, quão rápido ele responde e se o agente ainda lembra o que estava fazendo.
Uma janela de 1M de tokens muda os trade-offs. Não faz com que desapareçam.
O que uma janela de 1M de tokens oferece a um agente de longa duração?
Na BroadNet Inference, o DeepSeek V4.1 Flash e o GLM 5.3 aceitam até 1.048.576 tokens por requisição, somando prompt e resposta. O Qwen3.8 27B aceita 262.144. Com janelas menores, um agente precisa resumir depois de uma ou duas horas de trabalho. Com um milhão de tokens, geralmente dá para manter o histórico bruto de uma sessão inteira e só compactar perto do fim de uma execução muito longa.
É uma vantagem real: resumos perdem informação, e cada resumo é uma chance de esquecer justamente o detalhe que importava. Mas três custos continuam crescendo com o prompt:
- Dinheiro, numa chave por token, porque cada turno reenvia o prompt inteiro.
- Latência, porque o servidor precisa processar cada token de entrada antes do primeiro token de saída.
- Atenção. A qualidade pode cair à medida que a entrada cresce, um efeito chamado context rot. O artigo “Lost in the Middle” concluiu que os modelos tendem a usar com mais confiabilidade as informações do início e do fim de uma entrada longa do que as do meio. Modelos mais novos se saem melhor, mas o hábito de manter os fatos importantes perto das bordas ainda compensa.
Regra 1: por que o histórico deve ser append-only?
O prompt caching compara o prompt a partir do início. Se os primeiros 300.000 tokens deste turno forem idênticos aos do turno anterior, eles podem vir do cache; o primeiro token diferente encerra a correspondência. A API da BroadNet informa isso em usage.prompt_tokens_details.cached_tokens quando o modelo fornece o dado, e cobra a entrada em cache a uma tarifa menor: $0.0055 por 1M de tokens no DeepSeek V4.1 Flash, contra $0.175 pela entrada nova.
Então estruture cada requisição sempre na mesma ordem e só acrescente no final:
[ system prompt ] never changes during a session
[ tool definitions ] fixed order, never changes
[ project notes ] changes rarely, and only by appending
[ turn 1 ... turn N ] grows at the end
[ new message ]
Os culpados de sempre que quebram o prefixo são um timestamp no system prompt, definições de ferramentas em ordem instável e a re-renderização de resultados antigos de ferramentas. Para agentes, acrescente mais um: o corte em “janela deslizante”, que descarta o turno mais antigo toda vez e desloca tudo o que vem depois. Cada um deles transforma um prompt em cache num prompt novo; estrutura do prompt para cache lista os demais, com um teste que prova que o prefixo está em cache. Numa sessão longa a diferença é grande: a maior parte do prompt pode ser entrada em cache em vez de entrada nova. Como a entrada em cache é cobrada.
Regra 2: como medir a taxa de cache?
Registre-a em cada requisição. Com o SDK da OpenAI, bastam três linhas depois da chamada:
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
resp = client.chat.completions.create(model="broadnet/deepseek-v4.1-flash", messages=history, max_tokens=8000)
u = resp.usage
cached = (u.prompt_tokens_details.cached_tokens if u.prompt_tokens_details else 0) or 0
print(f"turn prompt={u.prompt_tokens:,} cached={cached:,} ({cached / max(1, u.prompt_tokens):.0%})")
Um agente append-only saudável mostra uma fatia alta de tokens em cache em todos os turnos depois do primeiro. Uma queda repentina para perto de zero significa que algo no começo do prompt mudou. Encontre e fixe. A calculadora de prompt caching transforma uma taxa de cache em dinheiro por sessão.
Regra 3: o que cortar primeiro quando o contexto cresce?
Quando o contexto realmente precisa encolher, o que você descarta faz diferença. Na maioria das transcrições de agentes, o grosso é saída de ferramentas: um log de testes de 4.000 linhas, um arquivo inteiro lido para achar uma função, uma listagem de diretório. A parte valiosa é pequena: o plano, as decisões e o porquê, os erros que foram corrigidos.
Ordem do que cortar, do primeiro ao último:
- Saída de ferramentas desatualizada. Substitua o corpo dos resultados antigos por um stub de uma linha: “ran pytest: 3 failures in test_api.py (fixed in turn 14)”.
- Conteúdo de arquivos superado. Se o agente leu
api.py, editou e leu de novo, a primeira leitura é peso morto. - Explorações que não levaram a nada. Buscas e leituras que não resultaram em mudança.
- Raciocínio e planos. Mantenha-os por mais tempo. Eles explicam por que o código está do jeito que está.
Truncar a saída das ferramentas no momento em que ela é produzida é ainda melhor. Limite cada resultado (por exemplo, as últimas 200 linhas de um log mais a contagem de linhas) e deixe o agente pedir mais se precisar. Assim o histórico continua append-only e pequeno.
Regra 4: quando um agente deve compactar o histórico?
A compactação (resumir o histórico mais antigo num bloco mais curto) é a ferramenta pesada. Ela reescreve o prefixo, então o turno depois de uma compactação paga o preço cheio de entrada por tudo o que vem depois do system prompt. Compactar um pouco a cada poucos turnos significa pagar esse preço de novo e de novo.
Melhor assim:
- Escolha um limite alto. Com uma janela de 1M, compactar quando ela estiver, digamos, 60–70% cheia deixa espaço para o turno de resumo e para uma longa cauda de trabalho novo.
- Mantenha a cauda recente na íntegra. Resuma a parte antiga e deixe intacto o último trecho de turnos. A documentação de compaction do opencode descreve isso: ele resume a conversa e mantém a parte mais recente, cerca de 15.000 tokens por padrão.
- Resuma com o prompt completo. Enviar a conversa inteira na requisição de resumo permite reaproveitar o cache do turno anterior.
- Compacte uma vez e volte a acrescentar. Depois de uma compactação, o novo prefixo fica estável e o cache recomeça dali.
Regra 5: o que vai num arquivo de notas?
Alguns fatos precisam sobreviver a qualquer número de compactações: o objetivo, as restrições, as decisões tomadas, os comandos que compilam e testam o projeto. Guarde-os num arquivo de notas curto (um NOTES.md ou um arquivo de tarefas) ao qual o agente acrescenta linhas e que ele relê. Ele fica perto do topo do prompt, muda raramente e é a primeira coisa que uma sessão nova lê se a execução recomeçar.
É também a forma mais barata de memória: alguns milhares de tokens que poupam o agente de redescobrir os mesmos fatos depois de cada resumo.
Como os tokens de raciocínio afetam o orçamento?
DeepSeek V4.1 Flash, GLM 5.3 e Qwen3.8 27B raciocinam antes de responder, e o raciocínio conta em max_tokens. Uma sessão longa não muda isso, mas prompts grandes tentam as pessoas a baixar max_tokens para “abrir espaço”. Não faça isso. Um orçamento de saída apertado produz respostas vazias, que o agente depois tenta de novo. Por que as respostas voltam vazias.
Lembre também que a janela conta prompt e resposta juntos. Perto de 1.048.576 tokens de prompt, não sobra espaço para responder. Compacte antes de chegar lá; a calculadora de janela de contexto mostra quanto espaço um prompt deixa livre.
Isso importa num plano de preço fixo?
Numa sessão de plano da BroadNet, o DeepSeek V4.1 Flash não tem medidor de tokens: uma sessão Full Moon custa $60 por mês, não importa o tamanho dos prompts. O argumento financeiro a favor do cache desaparece. Os outros dois, não. Em muitos sistemas de serving, um prefixo em cache costuma ser processado mais rápido, e um contexto bem gerenciado dá respostas melhores. Os hábitos são os mesmos; só muda o motivo. Como funcionam as sessões do plano.
Checklist de gestão de contexto
- System prompt e lista de ferramentas fixos durante toda a sessão.
- Histórico só por acréscimo; turnos antigos nunca reformatados.
- Taxa de cache registrada em cada requisição.
- Saída das ferramentas limitada ao ser produzida; saída desatualizada trocada por stub depois.
- Compactação num limite alto, mantendo a cauda recente na íntegra.
- Um arquivo de notas com objetivo, restrições e decisões.
- Orçamento de saída grande o bastante para o raciocínio.
Para saber quando vale a pena usar uma janela de um milhão de tokens, veja o guia da janela de contexto de 1M. Para interromper sessões que crescem sem progredir, veja controle de custo de loops de agentes.
