---
title: "Contexto longo vs RAG: custo, latência e recall | BroadRouter"
description: "Quando uma janela de contexto de 1M de tokens pode substituir um banco vetorial e quando o RAG ainda vence: custo por consulta, latência, recall e manutenção."
url: https://broadrouter.com/pt/blog/long-context-vs-rag/
lang: pt-BR
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Traduzido do inglês com ajuda de IA. [Leia o original em inglês](https://broadrouter.com/blog/long-context-vs-rag/) (atualizado em 2026-11-16).

# Contexto longo vs RAG: quando 1M de tokens substitui um banco vetorial

Pela equipe da BroadNet Inference · 5 min de leitura · Publicado em 2026-11-14 · Atualizado em 2026-11-16

O contexto longo substitui o RAG quando o corpus cabe na janela, muda pouco e as perguntas precisam de várias partes dele ao mesmo tempo; o cache mantém baratas as consultas repetidas. O RAG ainda vence quando o corpus passa do tamanho da janela, é atualizado o tempo todo, precisa de permissões por usuário ou tem que responder em um ou dois segundos. Muitos sistemas recuperam com RAG e raciocinam com contexto longo.

## Pontos principais

-   O tamanho do corpus é o primeiro filtro: se ele não cabe na janela com espaço para a resposta, você precisa de algum tipo de recuperação.
-   Por consulta, o contexto longo envia o corpus inteiro; o RAG envia alguns milhares de tokens. O cache de prefixo só diminui a diferença de custo quando o corpus é estável.
-   Prompts longos aumentam o tempo até o primeiro token. O RAG mantém os prompts curtos e rápidos.
-   O recall em contexto longo não é perfeito: os modelos encontram fatos no início e no fim de um prompt com mais confiabilidade do que no meio.
-   O RAG falha de outro jeito: se a recuperação perde o trecho, o modelo nunca o vê. Meça os dois com as suas próprias perguntas.

**Nesta página**

1.  Quando o contexto longo substitui o RAG?
2.  Como se compara o custo por consulta?
3.  Como se compara a latência?
4.  Qual tem melhor recall?
5.  E a manutenção?
6.  O híbrido a que a maioria das equipes chega
7.  Onde a BroadNet Inference se encaixa

O [guia da janela de contexto de 1M de tokens](https://broadrouter.com/pt/blog/million-token-context-window-guide/) mostra o que cabe em um milhão de tokens e quanto custa uma requisição. Este post responde a uma pergunta mais específica, que aparece em toda revisão de arquitetura: **dá para apagar o [banco de dados vetorial](https://broadrouter.com/pt/glossary/vector-database/) e o pipeline de [RAG](https://broadrouter.com/pt/glossary/rag/) em volta dele?** Às vezes, sim. Veja como decidir, em quatro eixos: custo, latência, recall e manutenção.

## Quando o contexto longo substitui o RAG?

As quatro condições abaixo precisam ser verdadeiras:

1.  **O corpus cabe.** Prompt mais resposta mais raciocínio ficam dentro da [janela de contexto](https://broadrouter.com/pt/glossary/context-window/) com folga. No [DeepSeek V4.1 Flash](https://broadrouter.com/pt/models/deepseek-v4.1-flash/) e no [GLM 5.3](https://broadrouter.com/pt/models/glm-5.3/) essa janela é de 1.048.576 tokens ([os dois comparados](https://broadrouter.com/compare/deepseek-v4.1-flash-vs-glm-5.3/)). A [calculadora de janela de contexto](https://broadrouter.com/tools/context-window-calculator/) confere se os seus documentos cabem.
2.  **Ele muda pouco.** Um manual atualizado todo mês serve. Uma fila de tickets atualizada a cada minuto, não.
3.  **Todo mundo pode ver tudo.** Um único corpus compartilhado, sem permissões por usuário para filtrar.
4.  **As perguntas atravessam o corpus.** “Quais contratos conflitam com a nova política?” precisa de tudo à vista; “qual é o prazo de reembolso?” não.

Se alguma for falsa, mantenha a recuperação ou use uma abordagem híbrida.

## Como se compara o custo por consulta?

Pegue um conjunto de documentos de 400.000 tokens e uma pergunta com resposta de 500 tokens. O RAG recupera, digamos, 8.000 tokens de chunks. Em uma chave de [pagamento por uso](https://broadrouter.com/pt/glossary/pay-as-you-go/) com o DeepSeek V4.1 Flash:

| Abordagem | Entrada por consulta | Custo de entrada por consulta |
| --- | --- | --- |
| Contexto longo, primeira consulta | 400.000 novos | 0,4 × $0.175 |
| Contexto longo, consulta repetida, prefixo em cache | cerca de 400.000 em cache | cerca de 0,4 × $0.0055 |
| RAG | 8.000 novos | 0,008 × $0.175 |

A saída é a mesma em todos os casos: 500 tokens × $0.52 por 1M. (Cada multiplicador é a quantidade de milhões de tokens vezes o preço por 1M.)

Daí saem três conclusões. Sem cache, o contexto longo custa 50 vezes o RAG por consulta na entrada, porque envia 50 vezes mais tokens. Com o corpus em cache, a diferença cai bastante, já que a entrada em cache neste modelo custa uma pequena porcentagem da entrada nova. Mas o cache só vale enquanto o prefixo continua idêntico byte a byte, então o corpus precisa vir primeiro e ficar estável; veja [estrutura de prompt para cache](https://broadrouter.com/pt/blog/prompt-structure-for-caching/). O RAG tem custos próprios que esta tabela deixa de fora: gerar os embeddings do corpus, manter o banco vetorial e o tempo de engenharia para ajustar o chunking. A [calculadora de custo de embeddings](https://broadrouter.com/tools/embedding-cost-calculator/) calcula a parte dos embeddings. A [calculadora de chunking para RAG](https://broadrouter.com/tools/rag-chunking-calculator/) calcula o lado das consultas: chunks, tokens por consulta e a conta mensal do LLM.

Para ver quanto vale a sua própria taxa de cache, use a [calculadora de prompt caching](https://broadrouter.com/tools/prompt-caching-calculator/). Em um plano de preço fixo, a coluna de entrada desaparece: o Full Moon custa $60 por mês por sessão, sem medidor de tokens, então um prompt de 400.000 tokens custa o mesmo que um curto.

## Como se compara a latência?

Um modelo lê o prompt inteiro antes de escrever o primeiro token. O tempo até o primeiro token cresce com o tamanho do prompt, e um prompt de centenas de milhares de tokens demora visivelmente mais para começar do que um de 8.000. Prefixos em cache ajudam em muitos sistemas de serving. A busca vetorial em si costuma acrescentar pouco; a chamada de recuperação é pequena perto da geração.

Então, para um assistente interativo que precisa responder em um ou dois segundos, o RAG é o padrão mais seguro. Para um analista que faz uma pergunta profunda e espera a resposta, contexto longo funciona bem. [Meça o TTFT com os seus prompts](https://broadrouter.com/pt/blog/llm-latency-ttft-throughput/) no tamanho que você pretende enviar.

## Qual tem melhor recall?

Nenhum é perfeito, e eles falham de jeitos diferentes.

O **contexto longo** pode perder fatos no meio ([lost in the middle](https://broadrouter.com/pt/glossary/lost-in-the-middle/)). O estudo _Lost in the Middle_ descobriu que os modelos usavam melhor a informação quando ela estava no início ou no fim da entrada, e pior no meio. O benchmark RULER descobriu que modelos quase perfeitos em testes simples de agulha no palheiro pioravam em tarefas mais difíceis conforme a entrada crescia e que, dos modelos que anunciam 32K tokens ou mais, “only half of them” (tradução: só metade deles) mantinham desempenho satisfatório em 32K. Modelos mais novos se saem melhor, mas a janela anunciada não é a mesma janela em que a qualidade se mantém.

O **RAG** falha antes de o modelo começar: se o recuperador perde o trecho, o modelo nunca o vê. Perguntas que precisam de muitos trechos, ou que usam palavras diferentes das da fonte, são as falhas clássicas.

| Modo de falha | Contexto longo | RAG |
| --- | --- | --- |
| Fato enterrado no meio do prompt | Risco cresce com o tamanho | Baixo, o prompt é curto |
| Resposta precisa de 20 trechos espalhados | Forte | Fraco, a menos que o top-k seja grande |
| Pergunta usa palavras diferentes da fonte | Forte | Depende dos embeddings e do reranking |
| Corpus maior que a janela | Impossível | Forte |

Duas mitigações para contexto longo: coloque a pergunta no fim, depois dos documentos, e peça ao modelo para citar as linhas em que se baseia.

## E a manutenção?

O RAG é um sistema: chunking, embeddings, um índice, reindexação a cada mudança, filtros de permissão, avaliação da qualidade da recuperação. O contexto longo é um prompt: concatene os arquivos com rótulos claros e envie. Para uma equipe pequena com um corpus que cabe, apagar o pipeline elimina trabalho de verdade. Para um corpus grande, em mudança e com permissões, o pipeline faz um trabalho que o contexto longo não consegue fazer.

## O híbrido a que a maioria das equipes chega

1.  Recupere com generosidade: não cinco chunks, mas documentos inteiros, até algumas centenas de milhares de [tokens](https://broadrouter.com/pt/glossary/token/).
2.  Ordene-os de forma estável (por ID do documento, não por pontuação), para que o prefixo fique em cache entre perguntas relacionadas.
3.  Coloque a pergunta por último e envie para um modelo de contexto longo.
4.  Peça citações dos rótulos dos documentos e confira algumas por amostragem.

Isso mantém o alcance do RAG sobre um corpus enorme e a capacidade do contexto longo de raciocinar sobre muitas fontes. Também tolera um recuperador mais fraco, porque um documento quase certo ainda está no prompt.

## Onde a BroadNet Inference se encaixa

A BroadNet Inference oferece dois modelos de 1M de tokens, o DeepSeek V4.1 Flash e o GLM 5.3, e não corta o seu contexto, então uma requisição grande demais falha em vez de perder documentos em silêncio. Em uma chave por token, a entrada em cache é cobrada pela tarifa menor de cache, e os planos ilimitados eliminam totalmente o medidor de tokens para o DeepSeek V4.1 Flash. A referência da API lista chat completions e transcrição, não um endpoint de embeddings nem um banco vetorial, então para a metade RAG você traz os seus. Deixe espaço na janela para os [tokens de raciocínio](https://broadrouter.com/pt/glossary/reasoning-tokens/); o [guia de raciocínio](https://broadrouter.com/pt/guides/reasoning-tokens-empty-response/) explica por quê. Os preços estão na [página de preços](https://broadrouter.com/pt/pricing/).

Ferramentas gratuitas sobre o tema (em inglês)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Ferramentas gratuitas (em inglês)](https://broadrouter.com/tools/)

## Termos neste artigo

[Token](https://broadrouter.com/pt/glossary/token/)

Um token é a unidade de texto que um modelo de linguagem lê e escreve: uma palavra, parte de uma palavra, um sinal de pontuação ou uma sequência de bytes gerada pelo tokenizador do modelo. As APIs de LLM contam, limitam e normalmente cobram o uso em tokens.

[Embeddings](https://broadrouter.com/pt/glossary/embeddings/)

Embeddings são listas de números de ponto flutuante (vetores) que um modelo produz para representar um texto, uma imagem ou outra entrada. Entradas com significado parecido recebem vetores próximos, então a distância entre vetores serve para ordenar resultados de busca, agrupar documentos ou encontrar itens relacionados.

[Lost in the middle (perdido no meio)](https://broadrouter.com/pt/glossary/lost-in-the-middle/)

Lost in the middle é a tendência observada de modelos de linguagem usarem melhor as informações relevantes quando elas aparecem perto do início ou do fim de uma entrada longa, e pior quando ficam no meio. O nome vem de um estudo de 2023 de Liu et al.

[Tool calling (chamada de ferramentas)](https://broadrouter.com/pt/glossary/tool-calling/)

Tool calling, também chamado de function calling ou chamada de ferramentas, é um recurso de APIs de LLM em que o modelo devolve um pedido estruturado para executar uma função definida pelo desenvolvedor, com argumentos JSON. A aplicação executa a função e devolve o resultado; o modelo nunca executa código sozinho.

[Banco de dados vetorial (vector database)](https://broadrouter.com/pt/glossary/vector-database/)

Um banco de dados vetorial é um armazenamento que guarda vetores de embedding, muitas vezes com o texto de origem e metadados, e responde a consultas de vizinhos mais próximos: dado um vetor de consulta, devolve os vetores armazenados mais parecidos, em geral por distância de cosseno, distância euclidiana ou produto interno.

[Janela de contexto (context window)](https://broadrouter.com/pt/glossary/context-window/)

A janela de contexto é o número máximo de tokens com que um modelo de linguagem consegue trabalhar em uma única requisição. Ela abrange o prompt, o histórico da conversa, as definições de ferramentas, as imagens e a saída gerada, incluindo os tokens de raciocínio. O que não couber precisa ser cortado, resumido ou dividido em várias requisições.

[Pagamento por uso (pay-as-you-go)](https://broadrouter.com/pt/glossary/pay-as-you-go/)

Pagamento por uso é um modelo de preço em que você paga só pelo que usa, medido por unidade, como tokens, requisições ou minutos de áudio, sem assinatura nem compromisso mínimo. A maioria das APIs de LLM cobra assim, a partir de um saldo pré-pago ou de uma fatura periódica.

[Tokens de entrada em cache (cached input)](https://broadrouter.com/pt/glossary/cached-input-tokens/)

Tokens de entrada em cache são tokens do prompt que um provedor de LLM processou há pouco e pode reaproveitar de um cache em vez de calcular de novo, normalmente um prefixo repetido, como um system prompt ou um documento. Os provedores os cobram com uma tarifa menor que a dos tokens de entrada novos.

## Perguntas frequentes

### O RAG morreu agora que os modelos têm janelas de contexto de 1M de tokens?

Não. O contexto longo dispensa a recuperação quando o corpus inteiro cabe e é estável. A maioria das bases de conhecimento de empresas passa de um milhão de tokens, muda todo dia e precisa de permissões, e isso continua sendo território do RAG.

### Contexto longo é mais preciso que RAG?

Depende da pergunta. O contexto longo se sai melhor quando a resposta precisa combinar muitos trechos. O RAG pode se sair melhor em buscas de um único fato em corpora enormes, porque um prompt curto mantém o modelo focado. Teste os dois com perguntas reais.

### Quantas palavras cabem em uma janela de contexto de 1 milhão de tokens?

Cerca de 810,000 palavras de prosa simples em inglês na janela de 1.048.576 tokens do DeepSeek V4.1 Flash, considerando os 1,290 tokens por 1.000 palavras medidos em cinco tokenizers no conjunto de dados de tokenizers do BroadRouter. Inglês técnico, código, tabelas e árabe precisam de mais tokens por palavra, então cabe menos. Deixe espaço para a resposta e o raciocínio.

### Posso combinar RAG e contexto longo?

Sim, e muitas vezes essa é a melhor opção. Recupere com generosidade, por exemplo de 100.000 a 200.000 tokens de documentos candidatos, e deixe um modelo de contexto longo raciocinar sobre todos eles em vez dos cinco melhores chunks.

## Continue lendo

-   [Quando vale a pena uma janela de contexto de 1M de tokens (ou não)](https://broadrouter.com/pt/blog/million-token-context-window-guide/)
-   [Como estruturar prompts para o prefixo entrar em cache](https://broadrouter.com/pt/blog/prompt-structure-for-caching/)
-   [Tokens de entrada em cache: como reduzir a conta de API de LLM](https://broadrouter.com/pt/blog/cached-input-tokens-explained/)
-   [Latência de LLM: TTFT, tokens por segundo e tempo de ponta a ponta](https://broadrouter.com/pt/blog/llm-latency-ttft-throughput/)
-   [Hardware de GPU e serving da BroadNet, segundo a própria BroadNet](https://broadrouter.com/pt/blog/broadnet-gpu-fleet-and-serving/)
-   [Cache de respostas de LLM para cortar custo: um cache exato em Python](https://broadrouter.com/pt/blog/cache-llm-responses-cut-cost/)
-   [Guia: Por que um modelo de raciocínio devolve uma resposta vazia](https://broadrouter.com/pt/guides/reasoning-tokens-empty-response/)

Teste com a sua carga de trabalho real. Contas novas começam com US$ 5 de crédito para Gemma e transcrição. DeepSeek, GLM e Qwen3.8 exigem uma recarga.

[Começar](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=pt-blog-long-context-vs-rag&utm_content=page-cta) ·

**Fontes**

-   [Liu et al., Lost in the Middle - How Language Models Use Long Contexts (arXiv 2307.03172)](https://arxiv.org/abs/2307.03172)
-   [Hsieh et al., RULER - What’s the Real Context Size of Your Long-Context Language Models? (arXiv 2404.06654)](https://arxiv.org/abs/2404.06654)
-   [Preços e tamanhos de contexto da BroadNet Inference em formato legível por máquina (pricing.json) (em inglês)](https://inference.broadnet.ai/pricing.json?utm_source=broadrouter&utm_medium=referral&utm_campaign=pt-blog-long-context-vs-rag&utm_content=sources)
-   [Referência da API da BroadNet Inference (em inglês)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=pt-blog-long-context-vs-rag&utm_content=sources)
