Le guide de la fenêtre de contexte de 1M de tokens explique ce qui tient dans un million de tokens et ce que coûte une requête. Cet article répond à une question plus précise, qui revient dans chaque revue d’architecture : peut-on supprimer la base vectorielle et le pipeline RAG qui l’entoure ? Parfois, oui. Voici comment trancher, selon quatre axes : coût, latence, rappel et maintenance.
Quand le contexte long remplace-t-il le RAG ?
Les quatre conditions suivantes doivent être réunies :
- Le corpus tient. Prompt, réponse et raisonnement restent dans la fenêtre de contexte avec une marge. Sur DeepSeek V4.1 Flash et GLM 5.3, cette fenêtre fait 1 048 576 tokens (les deux comparés). Le calculateur de fenêtre de contexte vérifie si vos documents tiennent.
- Il change rarement. Un manuel mis à jour chaque mois, ça va. Une file de tickets mise à jour chaque minute, non.
- Tout le monde peut tout voir. Un seul corpus partagé, aucune permission par utilisateur à filtrer.
- Les questions couvrent l’ensemble du corpus. « Quels contrats contredisent la nouvelle politique ? » exige de tout avoir sous les yeux ; « quel est le délai de remboursement ? », non.
Si une condition n’est pas remplie, gardez la recherche, ou passez à une approche hybride.
Comment se comparent les coûts par requête ?
Prenons un ensemble de documents de 400 000 tokens et une question dont la réponse fait 500 tokens. Le RAG récupère, disons, 8 000 tokens de chunks. Avec une clé en paiement à l’usage et DeepSeek V4.1 Flash :
| Approche | Entrée par requête | Coût d’entrée par requête |
|---|---|---|
| Contexte long, première requête | 400 000 nouveaux | 0,4 × $0.175 |
| Contexte long, requête répétée, préfixe en cache | environ 400 000 en cache | environ 0,4 × $0.0055 |
| RAG | 8 000 nouveaux | 0,008 × $0.175 |
La sortie est identique dans chaque cas : 500 tokens × $0.52 par million. (Chaque multiplicateur correspond au nombre de tokens en millions multiplié par le prix par million.)
Trois conséquences. Sans cache, le contexte long coûte 50 fois le RAG par requête en entrée, puisqu’il envoie 50 fois plus de tokens. Avec le corpus en cache, l’écart se réduit nettement, car l’entrée en cache coûte sur ce modèle quelques pour cent de l’entrée nouvelle. Mais le cache ne tient que tant que le préfixe reste identique à l’octet près : le corpus doit donc venir en premier et rester stable ; voir structurer son prompt pour le cache. Le RAG a ses propres coûts, que ce tableau omet : l’embedding du corpus, l’exploitation du stockage vectoriel et le temps d’ingénierie pour régler le découpage. Le calculateur de coût d’embedding chiffre la partie embedding. Le calculateur de découpage RAG chiffre le côté requêtes : chunks, tokens par requête et facture LLM mensuelle.
Pour voir ce que vaut votre propre taux de cache, essayez le calculateur de prompt caching. Avec un forfait, la colonne d’entrée disparaît : Full Moon coûte $60 par mois et par session sans compteur de tokens, donc un prompt de 400 000 tokens coûte autant qu’un prompt court.
Comment se compare la latence ?
Un modèle lit tout le prompt avant d’écrire le premier token. Le temps jusqu’au premier token augmente avec la longueur du prompt, et un prompt de plusieurs centaines de milliers de tokens met nettement plus de temps à démarrer qu’un prompt de 8 000. Les préfixes en cache aident dans de nombreux systèmes de service. La recherche vectorielle elle-même ajoute en général peu ; l’appel de recherche est léger à côté de la génération.
Pour un assistant interactif qui doit répondre en une ou deux secondes, le RAG est donc le choix par défaut le plus sûr. Pour un analyste qui pose une question de fond et attend la réponse, le contexte long convient. Mesurez le TTFT sur vos propres prompts à la taille que vous prévoyez d’envoyer.
Lequel a le meilleur rappel ?
Aucun n’est parfait, et ils échouent de manières différentes.
Le contexte long peut perdre des faits au milieu (lost in the middle). L’étude Lost in the Middle a constaté que les modèles exploitaient mieux l’information placée au début ou à la fin de l’entrée, et moins bien entre les deux. Le benchmark RULER a montré que des modèles quasi parfaits sur de simples tests « aiguille dans une botte de foin » se dégradaient sur des tâches plus difficiles à mesure que l’entrée grandissait, et que, parmi les modèles annonçant 32K tokens ou plus, « only half of them » (traduction : « seule la moitié d’entre eux ») gardaient des performances satisfaisantes à 32K. Les modèles récents font mieux, mais la fenêtre annoncée n’est pas la fenêtre où la qualité tient.
Le RAG échoue avant même que le modèle ne commence : si le retriever manque le passage, le modèle ne le voit jamais. Les questions qui exigent de nombreux passages, ou formulées avec d’autres mots que la source, sont les ratés classiques.
| Mode d’échec | Contexte long | RAG |
|---|---|---|
| Fait enfoui au milieu du prompt | Le risque croît avec la longueur | Faible, le prompt est court |
| La réponse exige 20 passages épars | Fort | Faible, sauf avec un top-k élevé |
| La formulation de la requête diffère de la source | Fort | Dépend des embeddings et du reranking |
| Corpus plus grand que la fenêtre | Impossible | Fort |
Deux parades pour le contexte long : placez la question à la fin, après les documents, et demandez au modèle de citer les lignes sur lesquelles il s’appuie.
Et la maintenance ?
Le RAG est un système : découpage, embeddings, index, réindexation à chaque modification, filtres de permissions, évaluation de la qualité de la recherche. Le contexte long est un prompt : concaténer des fichiers avec des étiquettes claires, puis envoyer. Pour une petite équipe dont le corpus tient dans la fenêtre, supprimer le pipeline retire un vrai travail. Pour un corpus vaste, changeant et soumis à des permissions, le pipeline fait un travail que le contexte long ne peut pas faire.
L’approche hybride à laquelle aboutissent la plupart des équipes
- Récupérez largement : pas cinq chunks, mais des documents entiers, jusqu’à quelques centaines de milliers de tokens.
- Ordonnez-les de façon stable (par identifiant de document, pas par score) pour que le préfixe soit mis en cache d’une question à l’autre.
- Placez la question en dernier et envoyez le tout à un modèle à contexte long.
- Demandez des citations renvoyant aux étiquettes des documents, et vérifiez-en quelques-unes.
Vous gardez ainsi la portée du RAG sur un corpus énorme et la capacité du contexte long à raisonner sur de nombreuses sources. L’approche tolère aussi un retriever moins bon, car un document presque pertinent reste dans le prompt.
La place de BroadNet Inference
BroadNet Inference propose deux modèles à 1M de tokens, DeepSeek V4.1 Flash et GLM 5.3, et ne tronque pas votre contexte : une requête trop grande échoue au lieu de perdre des documents en silence. Avec une clé facturée au token, l’entrée en cache est facturée au tarif réduit du cache, et les forfaits illimités suppriment complètement le compteur de tokens pour DeepSeek V4.1 Flash. Sa référence d’API liste les chat completions et la transcription, mais ni endpoint d’embeddings ni stockage vectoriel : pour la moitié RAG, vous apportez vos propres briques. Laissez de la place aux tokens de raisonnement dans la fenêtre ; le guide du raisonnement explique pourquoi. Les prix figurent sur la page des prix.
