BroadRouter

Gérer le contexte des agents longue durée avec une fenêtre de 1M

Par l’équipe BroadNet Inference · 6 min de lecture · Publié · Mis à jour

Traitez le contexte comme un journal en ajout seul : d’abord un prompt système et une liste d’outils fixes, puis un historique qui ne fait que grandir, pour que chaque tour réutilise le préfixe en cache. Avec une fenêtre de 1 048 576 tokens, comme sur DeepSeek V4.1 Flash, compactez rarement et par grandes étapes, coupez d’abord les sorties d’outils volumineuses et gardez les faits durables dans un court fichier de notes que l’agent relit.

Un agent de code qui travaille tout un après-midi accumule beaucoup d’historique : fichiers lus, commandes exécutées, sorties de tests, plans, corrections. À chaque tour, tout cela repart vers le modèle. La façon dont vous gérez ce contexte qui grandit décide de trois choses à la fois : ce que coûte chaque tour, la vitesse de la réponse, et si l’agent se souvient encore de ce qu’il était en train de faire.

Une fenêtre de 1M tokens déplace les compromis. Elle ne les fait pas disparaître.

Qu’apporte une fenêtre de 1M tokens à un agent longue durée ?

Sur BroadNet Inference, DeepSeek V4.1 Flash et GLM 5.3 acceptent jusqu’à 1 048 576 tokens par requête, prompt et réponse compris. Qwen3.8 27B en accepte 262 144. Avec des fenêtres plus petites, un agent doit résumer après une heure ou deux de travail. Avec un million de tokens, il peut généralement garder l’historique brut d’une session entière et ne compacter qu’en fin de très longue exécution.

C’est un vrai avantage : les résumés sont avec perte, et chaque résumé est une occasion d’oublier le seul détail qui comptait. Mais trois coûts grandissent toujours avec le prompt :

  • L’argent, avec une clé facturée au token, car chaque tour renvoie le prompt entier.
  • La latence, car le serveur doit traiter chaque token d’entrée avant le premier token de sortie.
  • L’attention. La qualité peut baisser quand les entrées grandissent, un effet appelé context rot. L’article « Lost in the Middle » a montré que les modèles exploitent plus fiablement l’information placée au début et à la fin d’une longue entrée que celle du milieu. Les modèles récents font mieux, mais l’habitude de garder les faits importants près des bords reste payante.

Règle 1 : pourquoi l’historique doit-il être en ajout seul ?

Le cache de prompt compare à partir du début du prompt. Si les 300 000 premiers tokens de ce tour sont identiques à ceux du tour précédent, ils peuvent être servis depuis le cache ; le premier token modifié met fin à la correspondance. L’API de BroadNet l’indique dans usage.prompt_tokens_details.cached_tokens quand le modèle le signale, et facture l’entrée en cache à un tarif plus bas : $0.0055 par million de tokens sur DeepSeek V4.1 Flash, contre $0.175 pour une nouvelle entrée.

Construisez donc chaque requête dans le même ordre et n’ajoutez jamais qu’à la fin :

[ system prompt ]        never changes during a session
[ tool definitions ]     fixed order, never changes
[ project notes ]        changes rarely, and only by appending
[ turn 1 ... turn N ]    grows at the end
[ new message ]

Les casseurs de préfixe habituels sont un horodatage dans le prompt système, des définitions d’outils dans un ordre instable et le re-rendu d’anciens résultats d’outils. Pour les agents, ajoutez-en un : la coupe en « fenêtre glissante » qui retire le plus ancien tour à chaque fois et décale tout ce qui suit. Chacun de ces défauts transforme un prompt en cache en prompt neuf ; structurer ses prompts pour le cache liste les autres, avec un test qui prouve que le préfixe est en cache. Sur une longue session, la différence est grande : la majeure partie du prompt peut être de l’entrée en cache plutôt que de l’entrée nouvelle. Comment l’entrée en cache est facturée.

Règle 2 : comment mesurer le taux de cache ?

Journalisez-le à chaque requête. Avec le SDK OpenAI, trois lignes après l’appel suffisent :

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

resp = client.chat.completions.create(model="broadnet/deepseek-v4.1-flash", messages=history, max_tokens=8000)
u = resp.usage
cached = (u.prompt_tokens_details.cached_tokens if u.prompt_tokens_details else 0) or 0
print(f"turn prompt={u.prompt_tokens:,} cached={cached:,} ({cached / max(1, u.prompt_tokens):.0%})")

Un agent sain en ajout seul affiche une part en cache élevée à chaque tour après le premier. Une chute soudaine vers zéro signifie que quelque chose a changé tôt dans le prompt. Trouvez-le et figez-le. Le calculateur de cache de prompt convertit un taux de cache en argent par session.

Règle 3 : que couper en premier quand le contexte grandit ?

Quand le contexte doit vraiment rétrécir, ce que vous retirez compte. Dans la plupart des transcriptions d’agents, l’essentiel du volume vient des sorties d’outils : un log de tests de 4 000 lignes, un fichier entier lu pour trouver une fonction, un listing de répertoire. La partie précieuse est petite : le plan, les décisions et leurs raisons, les erreurs corrigées.

Ordre de coupe, du premier au dernier :

  1. Les sorties d’outils périmées. Remplacez le corps des anciens résultats d’outils par un résumé d’une ligne : « pytest exécuté : 3 échecs dans test_api.py (corrigés au tour 14) ».
  2. Les contenus de fichiers dépassés. Si l’agent a lu api.py, l’a modifié, puis l’a relu, la première lecture est un poids mort.
  3. Les explorations sans issue. Recherches et lectures qui n’ont mené à aucune modification.
  4. Le raisonnement et les plans. Gardez-les le plus longtemps. Ils expliquent pourquoi le code a cette forme.

Tronquer la sortie d’un outil au moment où elle est produite est encore mieux. Plafonnez chaque résultat d’outil (par exemple les 200 dernières lignes d’un log plus un nombre de lignes) et laissez l’agent en demander plus s’il en a besoin. L’historique reste ainsi en ajout seul et compact.

Règle 4 : quand un agent doit-il compacter son historique ?

Le compactage (résumer l’historique ancien en un bloc plus court) est l’outil lourd. Il réécrit le préfixe : le tour qui suit un compactage paie donc le plein tarif d’entrée pour tout ce qui suit le prompt système. Compacter un peu tous les quelques tours, c’est payer ce prix encore et encore.

Mieux vaut :

  • Choisir un seuil élevé. Avec une fenêtre de 1M, compacter à, disons, 60–70 % de remplissage laisse de la place pour le tour de résumé et une longue suite de nouveau travail.
  • Garder la fin récente mot pour mot. Résumez la partie ancienne et gardez intacts les derniers tours. La documentation de compactage d’opencode décrit exactement cela : il résume la conversation et garde la partie la plus récente, environ 15 000 tokens par défaut.
  • Résumer avec le prompt complet. Envoyer toute la conversation à la requête de résumé lui permet de réutiliser le cache du tour précédent.
  • Compacter une fois, puis recommencer à ajouter. Après un compactage, le nouveau préfixe est stable et le cache reprend à partir de là.

Règle 5 : que mettre dans un fichier de notes ?

Certains faits doivent survivre à un nombre quelconque de compactages : l’objectif, les contraintes, les décisions prises, les commandes qui construisent et testent le projet. Gardez-les dans un court fichier de notes (un NOTES.md ou un fichier de tâche) auquel l’agent ajoute et qu’il relit. Il se trouve près du haut du prompt, change rarement, et c’est la première chose qu’une nouvelle session lit si l’exécution redémarre.

C’est aussi la forme de mémoire la moins chère : quelques milliers de tokens qui évitent à l’agent de redécouvrir les mêmes faits après chaque résumé.

Comment les tokens de raisonnement pèsent-ils sur le budget ?

DeepSeek V4.1 Flash, GLM 5.3 et Qwen3.8 27B raisonnent avant de répondre, et le raisonnement compte dans max_tokens. Une longue session n’y change rien, mais les gros prompts poussent à baisser max_tokens pour « gagner de la place ». Ne le faites pas. Un budget de sortie serré produit des réponses vides, que l’agent relance ensuite. Pourquoi les réponses reviennent vides.

Rappelez-vous aussi que la fenêtre compte le prompt et la réponse ensemble. Près de 1 048 576 tokens de prompt, il ne reste plus de place pour répondre. Compactez avant d’y arriver ; le calculateur de fenêtre de contexte montre combien de place laisse un prompt donné.

Est-ce que cela compte avec un forfait ?

Sur une session de forfait BroadNet, DeepSeek V4.1 Flash n’a pas de compteur de tokens : une session Full Moon coûte $60 par mois, quelle que soit la longueur des prompts. L’argument financier du cache disparaît. Les deux autres restent. Un préfixe en cache est généralement plus rapide à traiter dans de nombreux systèmes de service, et un contexte bien géré donne de meilleures réponses. Les habitudes sont les mêmes ; seule la raison change. Comment fonctionnent les sessions de forfait.

Liste de contrôle pour la gestion du contexte

  • Prompt système et liste d’outils fixes pour toute la session.
  • Historique uniquement complété ; anciens tours jamais reformatés.
  • Taux de cache journalisé à chaque requête.
  • Sorties d’outils plafonnées à la production ; sorties périmées remplacées plus tard par un résumé.
  • Compactage à un seuil élevé, en gardant la fin récente mot pour mot.
  • Un fichier de notes avec objectif, contraintes et décisions.
  • Budget de sortie assez grand pour le raisonnement.

Pour savoir quand une fenêtre d’un million de tokens vaut vraiment la peine, voir le guide de la fenêtre de contexte de 1M. Pour arrêter les sessions qui grossissent sans avancer, voir maîtriser le coût des boucles d’agent.

Questions fréquentes

Si le modèle a une fenêtre de 1M, pourquoi gérer le contexte ?

Parce que le coût, la latence et la précision changent quand le prompt grandit. Les longs prompts prennent plus de temps à traiter, coûtent plus cher à chaque tour avec une clé facturée au token, et la recherche montre que les modèles exploitent moins fiablement l’information placée au milieu de longues entrées.

Comment savoir si mon agent touche le cache ?

Quand le modèle le signale, le bloc usage contient prompt_tokens_details.cached_tokens. Divisez-le par prompt_tokens pour chaque requête et journalisez le taux.

Le compactage compte-t-il avec un forfait ?

Pas pour la facture, puisqu’une session de forfait n’a pas de compteur de tokens. Il compte toujours pour la vitesse et pour la qualité des réponses sur de très longues sessions.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity