Un modèle qui accepte un million de tokens n’exploite pas le millionième aussi bien que les mille premiers. Cet écart, c’est le context rot.
Comment ça marche
Le rapport de Chroma (Hong, Troynikov et Huber, juillet 2025) a testé 18 modèles, dont GPT-4.1, Claude 4, Gemini 2.5 et Qwen3, sur des tâches qui restaient aussi difficiles pendant que l’entrée s’allongeait. Son constat principal : « model performance consistently degrades with increasing input length » (traduction : « les performances des modèles se dégradent systématiquement à mesure que l’entrée s’allonge »).
Trois effets ressortent :
- Les correspondances faibles souffrent le plus. Quand la question et le passage pertinent partagent peu de mots, la précision chute plus vite avec la longueur.
- Les distracteurs nuisent. « Even a single distractor reduces performance relative to the baseline » (traduction : « Même un seul distracteur fait baisser les performances par rapport à la référence »), et quatre aggravent encore les choses. Un distracteur est un passage sur le même sujet qui ne répond pas à la question.
- La structure compte, étrangement. Un texte de remplissage cohérent a fait plus de dégâts que les mêmes phrases mélangées. Les auteurs ont constaté que « structural coherence consistently hurts model performance » (traduction : « la cohérence structurelle nuit systématiquement aux performances du modèle »).
Ces résultats prolongent des travaux antérieurs comme lost in the middle, qui montrait des effets de position. Le context rot élargit le constat : la longueur elle-même, pas seulement la position, coûte en précision.
Pourquoi c’est important
- Agents. Un agent de code ou de recherche accumule lectures de fichiers, logs et anciens résultats d’outils. Chacun est un distracteur potentiel. La précision peut décliner bien avant que la fenêtre de contexte soit pleine.
- Coût et latence. Des prompts plus longs coûtent aussi plus de tokens d’entrée et prennent plus de temps à traiter : élaguer aide donc sur trois plans à la fois.
- Contexte long ou récupération. Envoyer tout un corpus est simple, mais un RAG qui n’envoie que les chunks pertinents tient les distracteurs à l’écart.
Sur BroadNet Inference
Chez BroadNet, DeepSeek V4.1 Flash et GLM 5.3 acceptent jusqu’à 1 048 576 tokens, et Qwen3.8 27B jusqu’à 262 144. BroadNet ne tronque pas votre contexte : ce que vous envoyez est ce que le modèle lit. Considérez la limite comme un plafond, pas comme un objectif. Le guide de la fenêtre de contexte de 1M tokens explique quand une fenêtre pleine vaut le coup, et la gestion du contexte pour les agents de longue durée montre des schémas de résumé et d’élagage. Le calculateur de fenêtre de contexte aide à dimensionner un prompt avant de l’envoyer.
Erreurs fréquentes
- Coller tous les fichiers « au cas où ». Du texte connexe mais hors sujet, c’est exactement ce qu’utilisaient les tests de distracteurs de Chroma.
- Tester avec une aiguille qui reprend la question mot pour mot. Les vraies questions le font rarement.