BroadRouter
Commencer

Contexte long ou RAG : quand 1M de tokens remplace la base vectorielle

Par l’équipe BroadNet Inference · 5 min de lecture · Publié · Mis à jour

Le contexte long remplace le RAG quand le corpus tient dans la fenêtre, change rarement et que les questions en mobilisent de nombreuses parties à la fois ; le cache garde les requêtes répétées bon marché. Le RAG l’emporte encore quand le corpus dépasse la fenêtre, change sans cesse, exige des permissions par utilisateur ou doit répondre en une ou deux secondes. Beaucoup de systèmes récupèrent avec le RAG et raisonnent en contexte long.

Le guide de la fenêtre de contexte de 1M de tokens explique ce qui tient dans un million de tokens et ce que coûte une requête. Cet article répond à une question plus précise, qui revient dans chaque revue d’architecture : peut-on supprimer la base vectorielle et le pipeline RAG qui l’entoure ? Parfois, oui. Voici comment trancher, selon quatre axes : coût, latence, rappel et maintenance.

Quand le contexte long remplace-t-il le RAG ?

Les quatre conditions suivantes doivent être réunies :

  1. Le corpus tient. Prompt, réponse et raisonnement restent dans la fenêtre de contexte avec une marge. Sur DeepSeek V4.1 Flash et GLM 5.3, cette fenêtre fait 1 048 576 tokens (les deux comparés). Le calculateur de fenêtre de contexte vérifie si vos documents tiennent.
  2. Il change rarement. Un manuel mis à jour chaque mois, ça va. Une file de tickets mise à jour chaque minute, non.
  3. Tout le monde peut tout voir. Un seul corpus partagé, aucune permission par utilisateur à filtrer.
  4. Les questions couvrent l’ensemble du corpus. « Quels contrats contredisent la nouvelle politique ? » exige de tout avoir sous les yeux ; « quel est le délai de remboursement ? », non.

Si une condition n’est pas remplie, gardez la recherche, ou passez à une approche hybride.

Comment se comparent les coûts par requête ?

Prenons un ensemble de documents de 400 000 tokens et une question dont la réponse fait 500 tokens. Le RAG récupère, disons, 8 000 tokens de chunks. Avec une clé en paiement à l’usage et DeepSeek V4.1 Flash :

Approche Entrée par requête Coût d’entrée par requête
Contexte long, première requête 400 000 nouveaux 0,4 × $0.175
Contexte long, requête répétée, préfixe en cache environ 400 000 en cache environ 0,4 × $0.0055
RAG 8 000 nouveaux 0,008 × $0.175

La sortie est identique dans chaque cas : 500 tokens × $0.52 par million. (Chaque multiplicateur correspond au nombre de tokens en millions multiplié par le prix par million.)

Trois conséquences. Sans cache, le contexte long coûte 50 fois le RAG par requête en entrée, puisqu’il envoie 50 fois plus de tokens. Avec le corpus en cache, l’écart se réduit nettement, car l’entrée en cache coûte sur ce modèle quelques pour cent de l’entrée nouvelle. Mais le cache ne tient que tant que le préfixe reste identique à l’octet près : le corpus doit donc venir en premier et rester stable ; voir structurer son prompt pour le cache. Le RAG a ses propres coûts, que ce tableau omet : l’embedding du corpus, l’exploitation du stockage vectoriel et le temps d’ingénierie pour régler le découpage. Le calculateur de coût d’embedding chiffre la partie embedding. Le calculateur de découpage RAG chiffre le côté requêtes : chunks, tokens par requête et facture LLM mensuelle.

Pour voir ce que vaut votre propre taux de cache, essayez le calculateur de prompt caching. Avec un forfait, la colonne d’entrée disparaît : Full Moon coûte $60 par mois et par session sans compteur de tokens, donc un prompt de 400 000 tokens coûte autant qu’un prompt court.

Comment se compare la latence ?

Un modèle lit tout le prompt avant d’écrire le premier token. Le temps jusqu’au premier token augmente avec la longueur du prompt, et un prompt de plusieurs centaines de milliers de tokens met nettement plus de temps à démarrer qu’un prompt de 8 000. Les préfixes en cache aident dans de nombreux systèmes de service. La recherche vectorielle elle-même ajoute en général peu ; l’appel de recherche est léger à côté de la génération.

Pour un assistant interactif qui doit répondre en une ou deux secondes, le RAG est donc le choix par défaut le plus sûr. Pour un analyste qui pose une question de fond et attend la réponse, le contexte long convient. Mesurez le TTFT sur vos propres prompts à la taille que vous prévoyez d’envoyer.

Lequel a le meilleur rappel ?

Aucun n’est parfait, et ils échouent de manières différentes.

Le contexte long peut perdre des faits au milieu (lost in the middle). L’étude Lost in the Middle a constaté que les modèles exploitaient mieux l’information placée au début ou à la fin de l’entrée, et moins bien entre les deux. Le benchmark RULER a montré que des modèles quasi parfaits sur de simples tests « aiguille dans une botte de foin » se dégradaient sur des tâches plus difficiles à mesure que l’entrée grandissait, et que, parmi les modèles annonçant 32K tokens ou plus, « only half of them » (traduction : « seule la moitié d’entre eux ») gardaient des performances satisfaisantes à 32K. Les modèles récents font mieux, mais la fenêtre annoncée n’est pas la fenêtre où la qualité tient.

Le RAG échoue avant même que le modèle ne commence : si le retriever manque le passage, le modèle ne le voit jamais. Les questions qui exigent de nombreux passages, ou formulées avec d’autres mots que la source, sont les ratés classiques.

Mode d’échec Contexte long RAG
Fait enfoui au milieu du prompt Le risque croît avec la longueur Faible, le prompt est court
La réponse exige 20 passages épars Fort Faible, sauf avec un top-k élevé
La formulation de la requête diffère de la source Fort Dépend des embeddings et du reranking
Corpus plus grand que la fenêtre Impossible Fort

Deux parades pour le contexte long : placez la question à la fin, après les documents, et demandez au modèle de citer les lignes sur lesquelles il s’appuie.

Et la maintenance ?

Le RAG est un système : découpage, embeddings, index, réindexation à chaque modification, filtres de permissions, évaluation de la qualité de la recherche. Le contexte long est un prompt : concaténer des fichiers avec des étiquettes claires, puis envoyer. Pour une petite équipe dont le corpus tient dans la fenêtre, supprimer le pipeline retire un vrai travail. Pour un corpus vaste, changeant et soumis à des permissions, le pipeline fait un travail que le contexte long ne peut pas faire.

L’approche hybride à laquelle aboutissent la plupart des équipes

  1. Récupérez largement : pas cinq chunks, mais des documents entiers, jusqu’à quelques centaines de milliers de tokens.
  2. Ordonnez-les de façon stable (par identifiant de document, pas par score) pour que le préfixe soit mis en cache d’une question à l’autre.
  3. Placez la question en dernier et envoyez le tout à un modèle à contexte long.
  4. Demandez des citations renvoyant aux étiquettes des documents, et vérifiez-en quelques-unes.

Vous gardez ainsi la portée du RAG sur un corpus énorme et la capacité du contexte long à raisonner sur de nombreuses sources. L’approche tolère aussi un retriever moins bon, car un document presque pertinent reste dans le prompt.

La place de BroadNet Inference

BroadNet Inference propose deux modèles à 1M de tokens, DeepSeek V4.1 Flash et GLM 5.3, et ne tronque pas votre contexte : une requête trop grande échoue au lieu de perdre des documents en silence. Avec une clé facturée au token, l’entrée en cache est facturée au tarif réduit du cache, et les forfaits illimités suppriment complètement le compteur de tokens pour DeepSeek V4.1 Flash. Sa référence d’API liste les chat completions et la transcription, mais ni endpoint d’embeddings ni stockage vectoriel : pour la moitié RAG, vous apportez vos propres briques. Laissez de la place aux tokens de raisonnement dans la fenêtre ; le guide du raisonnement explique pourquoi. Les prix figurent sur la page des prix.

Questions fréquentes

Le RAG est-il mort maintenant que les modèles ont des fenêtres de contexte de 1M de tokens ?

Non. Le contexte long rend la recherche inutile quand tout le corpus tient dans la fenêtre et reste stable. La plupart des bases de connaissances d’entreprise dépassent le million de tokens, changent chaque jour et exigent des permissions : c’est toujours le terrain du RAG.

Le contexte long est-il plus précis que le RAG ?

Cela dépend de la question. Le contexte long fait mieux quand la réponse exige de combiner de nombreux passages. Le RAG peut faire mieux pour retrouver un fait isolé dans un corpus énorme, car un prompt court garde le modèle concentré. Testez les deux sur de vraies questions.

Combien de mots tiennent dans une fenêtre de contexte de 1 million de tokens ?

Environ 810,000 mots de prose anglaise simple dans la fenêtre de 1 048 576 tokens de DeepSeek V4.1 Flash, sur la base de 1,290 tokens pour 1 000 mots mesurés sur cinq tokenizers dans le jeu de données de BroadRouter. L’anglais technique, le code, les tableaux et l’arabe demandent plus de tokens par mot, donc moins de contenu tient. Laissez de la place pour la réponse et le raisonnement.

Puis-je combiner RAG et contexte long ?

Oui, et c’est souvent la meilleure option. Récupérez largement, par exemple 100 000 à 200 000 tokens de documents candidats, puis laissez un modèle à contexte long raisonner sur l’ensemble au lieu des cinq meilleurs chunks.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity