BroadRouter
Commencer

Quand une fenêtre de contexte de 1M de tokens vaut le coup (ou pas)

Par l’équipe BroadNet Inference · 4 min de lecture · Publié

Une fenêtre de contexte de 1M de tokens permet de placer dans une requête toute une base de code, des contrats ou des heures de transcriptions, que le modèle voit d’un coup au lieu de fragments récupérés. C’est rentable pour raisonner sur plusieurs fichiers et pour les analyses ponctuelles. Pour des recherches répétées dans un corpus vaste et changeant, le RAG coûte moins cher. DeepSeek V4.1 Flash et GLM 5.3 acceptent 1 048 576 tokens.

Light shining through towering cliffs made of stacked paper pages.

Les fenêtres de contexte sont passées de quelques milliers de tokens à plus d’un million. Chez BroadNet Inference, DeepSeek V4.1 Flash et GLM 5.3 acceptent 1 048 576 tokens par requête, prompt et réponse compris. Cela change votre façon de construire, mais ne rend pas chaque prompt meilleur.

Que tient-on dans un million de tokens ?

À titre indicatif : 1 000 mots de prose anglaise faisaient environ 1,290 tokens, en moyenne sur cinq tokenizers, dans notre jeu de données sur l’efficacité des tokenizers. Un million de tokens représente donc à peu près 810,000 mots de prose simple :

Contenu Ordre de grandeur
Une base de code de taille moyenne (des dizaines de milliers de lignes) Tient, avec de la marge
Plusieurs longs contrats avec leurs annexes Tient
Une journée de transcriptions de réunions Tient
Un gros monorepo avec ses dépendances Souvent non ; sélectionnez des répertoires

Le nombre de tokens dépend de la langue et du contenu. Le code et le texte arabe consomment souvent plus de tokens par caractère que la prose anglaise. Mesurez avec le bloc usage d’une vraie requête plutôt que d’estimer, ou vérifiez un échantillon dans le calculateur de fenêtre de contexte.

Quels modèles BroadNet ont une fenêtre de contexte de 1M de tokens ?

Modèle Fenêtre de contexte Entrée Sortie Images
DeepSeek V4.1 Flash 1 048 576 $0.175 $0.52 Oui
GLM 5.3 1 048 576 $0.78 $3.46 Non
Qwen3.8 27B 262 144 $0.175 $2.17 Oui
BroadNet Gemma 4 VL 26B 32 768 $0.10 $0.22 Oui

Prix par million de tokens. GLM 5.3 ajoute l’appel d’outils et la sortie structurée sur la même fenêtre de 1M.

Quand une fenêtre de 1M de tokens vaut-elle le coup ?

  • Raisonnement à travers plusieurs fichiers. « Pourquoi ce test échoue-t-il ? » dépend souvent de cinq fichiers que personne ne penserait à récupérer ensemble.
  • Revue de documents entiers. Trouver les contradictions entre la clause 4 et l’annexe B exige d’avoir les deux sous les yeux.
  • Analyses ponctuelles. Pour une question posée une seule fois, construire un index de recherche coûte plus d’efforts qu’il n’en fait gagner.
  • Agents. Un sous-agent capable de lire tout le module se trompe moins souvent. Voir faire tourner des agents en parallèle.

Quand la recherche documentaire reste-t-elle le meilleur choix ?

La recherche documentaire l’emporte pour de nombreuses petites recherches dans une bibliothèque bien plus grande que n’importe quelle fenêtre, pour un contenu qui change chaque minute, et pour des réponses interactives rapides où la lecture préalable d’un énorme prompt ajoute du délai. Beaucoup de systèmes en production font les deux : récupérer les 200 000 tokens les plus pertinents, puis laisser un modèle à contexte long raisonner sur l’ensemble. La décision complète, avec coût par requête, latence et rappel côte à côte, se trouve dans contexte long ou RAG.

Le modèle utilise-t-il vraiment toute la fenêtre ?

Pas uniformément. La recherche est constante sur ce point :

  • L’article Lost in the Middle (Liu et al.) a constaté que la performance « is often highest when relevant information occurs at the beginning or end of the input context » (traduction : « est souvent maximale quand l’information pertinente se trouve au début ou à la fin du contexte d’entrée »).
  • Le rapport Context Rot de Chroma a testé 18 modèles et constaté que « performance grows increasingly unreliable as input length grows » (traduction : « la performance devient de plus en plus aléatoire à mesure que l’entrée s’allonge »), même sur des tâches simples.

Ces études n’ont pas testé les modèles chez BroadNet : prenez-les comme un avertissement, pas comme une mesure. La règle pratique : une fenêtre qui accepte un million de tokens ne signifie pas que chaque token reçoit la même attention. Placez le contenu le plus important près du début ou de la fin, et testez le rappel sur vos propres documents.

Combien coûte un prompt d’un million de tokens ?

Avec une clé en paiement à l’usage, DeepSeek V4.1 Flash facture $0.175 par million de tokens d’entrée et $0.0055 par million de tokens d’entrée en cache. Un prompt complet d’un million de tokens coûte environ $0.175 la première fois, et beaucoup moins lors des appels répétés quand le préfixe est en cache. Comment augmenter votre taux de cache.

Le calculateur de prompt caching montre ce qu’un succès de cache fait gagner sur vos propres tailles de prompt. Un exemple chiffré : dix questions sur le même ensemble de contrats de 800 000 tokens. Sans cache, cela fait 8M de tokens à $0.175 par million. Si les documents viennent en premier et restent identiques, le premier appel lit 800 000 nouveaux tokens et les neuf suivants peuvent en lire la plupart depuis le cache à $0.0055 par million. Seules la question et la réponse changent.

Avec un forfait illimité, la taille du prompt ne change pas la facture : Full Moon coûte $60 par mois et par session, sans compteur de tokens. C’est pourquoi les agents à contexte long sont une raison fréquente de choisir un forfait plutôt que la facturation au token.

Quelle place laisser à la réponse ?

La fenêtre couvre le prompt et la sortie, et sur les modèles de raisonnement la sortie inclut la réflexion. Si vous envoyez 1 040 000 tokens de prompt, il n’en reste qu’environ 8 000 pour le raisonnement et la réponse. Gardez une marge, réglez max_tokens explicitement et lisez pourquoi les modèles de raisonnement peuvent renvoyer une réponse vide.

Préparer une base de code pour un prompt de 1M de tokens

  1. Excluez ce dont le modèle n’a pas besoin. Fichiers de verrouillage, sorties de build, dépendances embarquées, images et code généré consomment des tokens et ajoutent du bruit.
  2. Comptez avant d’envoyer. Envoyez un petit échantillon, lisez prompt_tokens dans usage, puis extrapolez.
  3. Ordonnez par stabilité. Les fichiers rarement modifiés d’abord, les fichiers en cours d’édition en dernier, la question tout à la fin. Le préfixe reste ainsi cachable.
  4. Étiquetez chaque fichier. Encadrez les fichiers de marqueurs clairs comme === path/to/file.py === pour que le modèle puisse les citer.
  5. Demandez des citations. « Cite la ligne sur laquelle tu t’appuies » réduit les erreurs affirmées avec aplomb sur des entrées énormes.
  6. Mesurez. Journalisez par requête les tokens du prompt, les tokens en cache et le temps jusqu’au premier token. Le streaming affiche le premier token dès son arrivée.

La place de BroadNet Inference

Deux de ses modèles de chat acceptent 1 048 576 tokens par requête, et BroadNet ne tronque pas votre contexte. Avec une clé facturée au token, le cache garde abordables les longs prompts répétés ; dans une session de forfait, la taille du prompt n’influe pas sur la facture. Si votre corpus dépasse de loin le million de tokens ou change chaque minute, il vous faut toujours une recherche documentaire, et aucune taille de fenêtre n’y changera rien.

Questions fréquentes

BroadNet tronque-t-il les longs prompts ?

Non. BroadNet ne tronque pas votre contexte. Si le prompt plus max_tokens dépasse la fenêtre du modèle, raccourcissez le prompt au lieu de compter sur une troncature silencieuse.

Combien de mots représente 1 million de tokens ?

Cela dépend de la langue et du contenu. La prose anglaise a donné environ 129 tokens pour 100 mots dans le jeu de données de tokenizers de BroadRouter (1 000 mots faisaient environ 1,290 tokens, en moyenne sur cinq tokenizers) : 1 048 576 tokens contiennent donc à peu près 810,000 mots, bien plus d’un millier de pages. Le texte technique, le code et l’arabe demandent plus de tokens : comptez votre contenu réel.

Une requête de 1M de tokens est-elle lente ?

Elle met plus de temps à démarrer qu’une requête courte, car le modèle doit d’abord lire tout le prompt. Les préfixes en cache aident généralement lors des appels répétés. Mesurez le temps jusqu’au premier token sur vos propres prompts.

Les LLM utilisent-ils vraiment toute la fenêtre de contexte ?

Pas uniformément. L’article Lost in the Middle a constaté que la précision est souvent maximale quand l’information pertinente se trouve au début ou à la fin de l’entrée, et le rapport Context Rot de Chroma a constaté que la fiabilité baisse à mesure que l’entrée s’allonge. Placez l’essentiel aux extrémités et testez sur vos propres données.

Faut-il arrêter d’utiliser le RAG ?

Pas forcément. Utilisez le contexte long quand le modèle doit tout voir ensemble, et la recherche documentaire quand il lui faut quelques faits tirés d’une immense bibliothèque. Beaucoup de systèmes combinent les deux.

Que se passe-t-il si mon prompt dépasse la fenêtre de contexte ?

BroadNet ne le tronque pas pour vous : la requête ne s’exécutera donc pas comme prévu. Retirez des fichiers, résumez les anciens tours ou ne récupérez que les parties pertinentes avant l’envoi.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity