Les fenêtres de contexte sont passées de quelques milliers de tokens à plus d’un million. Chez BroadNet Inference, DeepSeek V4.1 Flash et GLM 5.3 acceptent 1 048 576 tokens par requête, prompt et réponse compris. Cela change votre façon de construire, mais ne rend pas chaque prompt meilleur.
Que tient-on dans un million de tokens ?
À titre indicatif : 1 000 mots de prose anglaise faisaient environ 1,290 tokens, en moyenne sur cinq tokenizers, dans notre jeu de données sur l’efficacité des tokenizers. Un million de tokens représente donc à peu près 810,000 mots de prose simple :
| Contenu | Ordre de grandeur |
|---|---|
| Une base de code de taille moyenne (des dizaines de milliers de lignes) | Tient, avec de la marge |
| Plusieurs longs contrats avec leurs annexes | Tient |
| Une journée de transcriptions de réunions | Tient |
| Un gros monorepo avec ses dépendances | Souvent non ; sélectionnez des répertoires |
Le nombre de tokens dépend de la langue et du contenu. Le code et le texte arabe consomment souvent plus de tokens par caractère que la prose anglaise. Mesurez avec le bloc usage d’une vraie requête plutôt que d’estimer, ou vérifiez un échantillon dans le calculateur de fenêtre de contexte.
Quels modèles BroadNet ont une fenêtre de contexte de 1M de tokens ?
| Modèle | Fenêtre de contexte | Entrée | Sortie | Images |
|---|---|---|---|---|
| DeepSeek V4.1 Flash | 1 048 576 | $0.175 | $0.52 | Oui |
| GLM 5.3 | 1 048 576 | $0.78 | $3.46 | Non |
| Qwen3.8 27B | 262 144 | $0.175 | $2.17 | Oui |
| BroadNet Gemma 4 VL 26B | 32 768 | $0.10 | $0.22 | Oui |
Prix par million de tokens. GLM 5.3 ajoute l’appel d’outils et la sortie structurée sur la même fenêtre de 1M.
Quand une fenêtre de 1M de tokens vaut-elle le coup ?
- Raisonnement à travers plusieurs fichiers. « Pourquoi ce test échoue-t-il ? » dépend souvent de cinq fichiers que personne ne penserait à récupérer ensemble.
- Revue de documents entiers. Trouver les contradictions entre la clause 4 et l’annexe B exige d’avoir les deux sous les yeux.
- Analyses ponctuelles. Pour une question posée une seule fois, construire un index de recherche coûte plus d’efforts qu’il n’en fait gagner.
- Agents. Un sous-agent capable de lire tout le module se trompe moins souvent. Voir faire tourner des agents en parallèle.
Quand la recherche documentaire reste-t-elle le meilleur choix ?
La recherche documentaire l’emporte pour de nombreuses petites recherches dans une bibliothèque bien plus grande que n’importe quelle fenêtre, pour un contenu qui change chaque minute, et pour des réponses interactives rapides où la lecture préalable d’un énorme prompt ajoute du délai. Beaucoup de systèmes en production font les deux : récupérer les 200 000 tokens les plus pertinents, puis laisser un modèle à contexte long raisonner sur l’ensemble. La décision complète, avec coût par requête, latence et rappel côte à côte, se trouve dans contexte long ou RAG.
Le modèle utilise-t-il vraiment toute la fenêtre ?
Pas uniformément. La recherche est constante sur ce point :
- L’article Lost in the Middle (Liu et al.) a constaté que la performance « is often highest when relevant information occurs at the beginning or end of the input context » (traduction : « est souvent maximale quand l’information pertinente se trouve au début ou à la fin du contexte d’entrée »).
- Le rapport Context Rot de Chroma a testé 18 modèles et constaté que « performance grows increasingly unreliable as input length grows » (traduction : « la performance devient de plus en plus aléatoire à mesure que l’entrée s’allonge »), même sur des tâches simples.
Ces études n’ont pas testé les modèles chez BroadNet : prenez-les comme un avertissement, pas comme une mesure. La règle pratique : une fenêtre qui accepte un million de tokens ne signifie pas que chaque token reçoit la même attention. Placez le contenu le plus important près du début ou de la fin, et testez le rappel sur vos propres documents.
Combien coûte un prompt d’un million de tokens ?
Avec une clé en paiement à l’usage, DeepSeek V4.1 Flash facture $0.175 par million de tokens d’entrée et $0.0055 par million de tokens d’entrée en cache. Un prompt complet d’un million de tokens coûte environ $0.175 la première fois, et beaucoup moins lors des appels répétés quand le préfixe est en cache. Comment augmenter votre taux de cache.
Le calculateur de prompt caching montre ce qu’un succès de cache fait gagner sur vos propres tailles de prompt. Un exemple chiffré : dix questions sur le même ensemble de contrats de 800 000 tokens. Sans cache, cela fait 8M de tokens à $0.175 par million. Si les documents viennent en premier et restent identiques, le premier appel lit 800 000 nouveaux tokens et les neuf suivants peuvent en lire la plupart depuis le cache à $0.0055 par million. Seules la question et la réponse changent.
Avec un forfait illimité, la taille du prompt ne change pas la facture : Full Moon coûte $60 par mois et par session, sans compteur de tokens. C’est pourquoi les agents à contexte long sont une raison fréquente de choisir un forfait plutôt que la facturation au token.
Quelle place laisser à la réponse ?
La fenêtre couvre le prompt et la sortie, et sur les modèles de raisonnement la sortie inclut la réflexion. Si vous envoyez 1 040 000 tokens de prompt, il n’en reste qu’environ 8 000 pour le raisonnement et la réponse. Gardez une marge, réglez max_tokens explicitement et lisez pourquoi les modèles de raisonnement peuvent renvoyer une réponse vide.
Préparer une base de code pour un prompt de 1M de tokens
- Excluez ce dont le modèle n’a pas besoin. Fichiers de verrouillage, sorties de build, dépendances embarquées, images et code généré consomment des tokens et ajoutent du bruit.
- Comptez avant d’envoyer. Envoyez un petit échantillon, lisez
prompt_tokensdans usage, puis extrapolez. - Ordonnez par stabilité. Les fichiers rarement modifiés d’abord, les fichiers en cours d’édition en dernier, la question tout à la fin. Le préfixe reste ainsi cachable.
- Étiquetez chaque fichier. Encadrez les fichiers de marqueurs clairs comme
=== path/to/file.py ===pour que le modèle puisse les citer. - Demandez des citations. « Cite la ligne sur laquelle tu t’appuies » réduit les erreurs affirmées avec aplomb sur des entrées énormes.
- Mesurez. Journalisez par requête les tokens du prompt, les tokens en cache et le temps jusqu’au premier token. Le streaming affiche le premier token dès son arrivée.
La place de BroadNet Inference
Deux de ses modèles de chat acceptent 1 048 576 tokens par requête, et BroadNet ne tronque pas votre contexte. Avec une clé facturée au token, le cache garde abordables les longs prompts répétés ; dans une session de forfait, la taille du prompt n’influe pas sur la facture. Si votre corpus dépasse de loin le million de tokens ou change chaque minute, il vous faut toujours une recherche documentaire, et aucune taille de fenêtre n’y changera rien.

