BroadRouter
Começar

Quando vale a pena uma janela de contexto de 1M de tokens (ou não)

Pela equipe da BroadNet Inference · 4 min de leitura · Publicado em

Uma janela de contexto de 1M de tokens permite que uma única requisição contenha uma codebase inteira, um conjunto de contratos ou horas de transcrições, então o modelo vê tudo de uma vez em vez de fragmentos recuperados. Vale a pena para raciocínio entre arquivos e análises pontuais; para buscas repetidas em um corpus grande e em mudança, a recuperação sai mais barata. DeepSeek V4.1 Flash e GLM 5.3 aceitam 1.048.576 tokens.

Light shining through towering cliffs made of stacked paper pages.

As janelas de contexto cresceram de alguns milhares de tokens para mais de um milhão. O DeepSeek V4.1 Flash e o GLM 5.3 na BroadNet Inference aceitam 1.048.576 tokens por requisição, prompt e resposta juntos. Isso muda o que você pode construir, mas não deixa todo prompt melhor.

O que cabe em um milhão de tokens?

Como referência aproximada: 1.000 palavras de prosa em inglês deram cerca de 1,290 tokens, na média de cinco tokenizers, no nosso conjunto de dados de eficiência de tokenizers, então um milhão de tokens são mais ou menos 810,000 palavras de prosa simples:

Conteúdo Mais ou menos
Uma codebase de porte médio (dezenas de milhares de linhas) Cabe, com folga
Vários contratos longos com anexos Cabem
Um dia de transcrições de reuniões Cabe
Um monorepo grande com dependências Muitas vezes não; selecione diretórios

A contagem de tokens depende do idioma e do conteúdo. Código e texto em árabe costumam usar mais tokens por caractere do que prosa em inglês. Meça com o bloco usage de uma requisição real em vez de estimar, ou confira uma amostra na calculadora de janela de contexto.

Quais modelos da BroadNet têm janela de contexto de 1M de tokens?

Modelo Janela de contexto Entrada Saída Imagens
DeepSeek V4.1 Flash 1.048.576 $0.175 $0.52 Sim
GLM 5.3 1.048.576 $0.78 $3.46 Não
Qwen3.8 27B 262.144 $0.175 $2.17 Sim
BroadNet Gemma 4 VL 26B 32.768 $0.10 $0.22 Sim

Preços por 1M de tokens. O GLM 5.3 acrescenta tool calling e saída estruturada na mesma janela de 1M.

Quando vale a pena uma janela de 1M de tokens?

  • Raciocínio entre arquivos. “Por que este teste falha?” muitas vezes depende de cinco arquivos que ninguém pensaria em recuperar juntos.
  • Revisão de documentos inteiros. Encontrar conflitos entre a cláusula 4 e o anexo B exige os dois à vista.
  • Análise pontual. Para uma pergunta que você vai fazer uma vez só, montar um índice de recuperação dá mais trabalho do que economiza.
  • Agentes. Um subagente que consegue ler o módulo inteiro chuta errado menos vezes. Veja rodar agentes em paralelo.

Quando a recuperação ainda é a melhor escolha?

A recuperação vence em muitas buscas pequenas em um acervo muito maior que qualquer janela, em conteúdo que muda a cada minuto e em respostas interativas rápidas, em que ler um prompt enorme antes acrescenta atraso. Muitos sistemas em produção fazem as duas coisas: recuperam os 200.000 tokens mais relevantes e deixam um modelo de contexto longo raciocinar sobre todos eles. A decisão completa, com custo por consulta, latência e recall lado a lado, está em contexto longo vs RAG.

O modelo usa mesmo a janela inteira?

Não de forma uniforme. As pesquisas são consistentes nisso:

  • O artigo Lost in the Middle (Liu et al.) viu que o desempenho “is often highest when relevant information occurs at the beginning or end of the input context” (tradução: costuma ser maior quando a informação relevante aparece no início ou no fim do contexto de entrada).
  • O relatório Context Rot da Chroma testou 18 modelos e viu que “performance grows increasingly unreliable as input length grows” (tradução: o desempenho fica cada vez menos confiável conforme o tamanho da entrada cresce), mesmo em tarefas simples.

Esses estudos não testaram os modelos na BroadNet, então trate-os como um alerta, não como uma medição. A regra prática: uma janela que aceita um milhão de tokens não significa que todo token recebe a mesma atenção. Coloque o material mais importante perto do início ou do fim e teste o recall com os seus documentos.

Quanto custa um prompt de um milhão de tokens?

Em uma chave de pagamento por uso, o DeepSeek V4.1 Flash cobra $0.175 por 1M de tokens de entrada e $0.0055 por 1M de tokens de entrada em cache. Um prompt cheio de um milhão de tokens custa cerca de $0.175 na primeira vez, e bem menos em chamadas repetidas quando o prefixo está em cache. Como aumentar a sua taxa de cache.

A calculadora de prompt caching mostra quanto um acerto de cache economiza nos tamanhos dos seus prompts. Um exemplo prático: dez perguntas sobre o mesmo conjunto de contratos de 800.000 tokens. Sem cache, são 8M de tokens a $0.175 por 1M. Se os documentos vêm primeiro e ficam idênticos, a primeira chamada lê 800.000 tokens novos e as nove seguintes podem ler a maior parte deles do cache a $0.0055 por 1M. Só a pergunta e a resposta mudam.

Em um plano ilimitado, o tamanho do prompt não muda a conta: o Full Moon custa $60 por mês por sessão, sem medidor de tokens. Por isso agentes de contexto longo são um motivo comum para escolher um plano de preço fixo em vez de cobrança por token.

Quanto espaço deixar para a resposta?

A janela cobre prompt e saída, e em modelos de raciocínio a saída inclui o pensamento. Se você envia 1.040.000 tokens de prompt, sobram só uns 8.000 para raciocínio e resposta. Mantenha uma margem, defina max_tokens explicitamente e leia por que modelos de raciocínio podem retornar uma resposta vazia.

Como preparar uma codebase para um prompt de 1M de tokens

  1. Exclua o que o modelo não precisa. Lock files, saída de build, dependências vendorizadas, imagens e código gerado ocupam tokens e acrescentam ruído.
  2. Conte antes de enviar. Envie uma amostra pequena, leia prompt_tokens no usage e escale.
  3. Ordene por estabilidade. Arquivos que mudam pouco primeiro, os arquivos em edição por último, a pergunta bem no fim. Assim o prefixo continua aproveitável pelo cache.
  4. Rotule cada arquivo. Envolva os arquivos em marcadores claros como === path/to/file.py === para o modelo poder citá-los.
  5. Peça citações. “Cite a linha em que você se baseia” reduz erros ditos com confiança em entradas enormes.
  6. Meça. Registre por requisição os tokens do prompt, os tokens em cache e o tempo até o primeiro token. O streaming mostra o primeiro token assim que ele chega.

Onde a BroadNet Inference se encaixa

Dois dos modelos de chat dela aceitam 1.048.576 tokens por requisição, e a BroadNet não corta o seu contexto. Em uma chave por token, o cache mantém acessíveis os prompts longos repetidos; em uma sessão de plano, o tamanho do prompt não afeta a conta. Se o seu corpus é muito maior que um milhão de tokens ou muda a cada minuto, você ainda precisa de recuperação, e nenhum tamanho de janela muda isso.

Perguntas frequentes

A BroadNet corta prompts longos?

Não. A BroadNet não corta o seu contexto. Se o prompt mais max_tokens passar da janela do modelo, encurte o prompt em vez de contar com um truncamento silencioso.

Quantas palavras tem 1 milhão de tokens?

Depende do idioma e do conteúdo. Prosa em inglês mediu cerca de 129 tokens a cada 100 palavras no conjunto de dados de tokenizers do BroadRouter (1.000 palavras deram cerca de 1,290 tokens, na média de cinco tokenizers), então 1.048.576 tokens comportam cerca de 810,000 palavras, bem mais de mil páginas. Texto técnico, código e árabe precisam de mais tokens, então conte o seu conteúdo real.

Uma requisição de 1M de tokens é lenta?

Ela demora mais para começar do que uma requisição curta, porque o modelo precisa ler o prompt inteiro primeiro. Prefixos em cache costumam ajudar em chamadas repetidas. Meça o tempo até o primeiro token com os seus prompts.

Os LLMs usam mesmo a janela de contexto inteira?

Não de forma uniforme. O artigo Lost in the Middle viu que a precisão costuma ser maior quando a informação relevante está no início ou no fim da entrada, e o relatório Context Rot da Chroma viu que a confiabilidade cai conforme a entrada cresce. Coloque o material principal nas pontas e teste com os seus dados.

Devo parar de usar RAG?

Não necessariamente. Use contexto longo quando o modelo precisa ver tudo junto, e recuperação quando ele precisa de poucos fatos de um acervo enorme. Muitos sistemas combinam os dois.

O que acontece se o meu prompt for maior que a janela de contexto?

A BroadNet não o corta para você, então a requisição não vai funcionar como esperado. Remova arquivos, resuma turnos antigos ou recupere só as partes relevantes antes de enviar.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity