Une requête de chat fait deux travaux différents : lire le prompt, puis écrire la réponse. Les ingénieurs en inférence les appellent prefill et decode, et ils se comportent très différemment sur un GPU.
Comment ça marche
- Prefill. Le modèle lit tous les tokens du prompt en une passe parallèle et stocke les clés et valeurs d’attention de chaque token dans le cache KV. Rien n’est encore renvoyé.
- Decode. Le modèle génère un token, ajoute ses clés et valeurs au cache, et recommence jusqu’à s’arrêter ou atteindre
max_tokens.
L’article Sarathi-Serve résume le contraste : « Prefill iterations have high latency but saturate GPU compute due to parallel processing of the input prompt » (traduction : « les itérations de prefill ont une latence élevée mais saturent le calcul GPU grâce au traitement parallèle du prompt »), tandis que « decode iterations have low latency but also low compute utilization. » (traduction : « les itérations de decode ont une faible latence mais aussi une faible utilisation du calcul. »)
Les deux phases correspondent aux deux mesures de latence que ressentent les utilisateurs. L’article DistServe les nomme : « time to first token (TTFT) for the prefill phase and time per output token (TPOT) of each request for the decoding phase » (traduction : « le time to first token (TTFT) pour la phase de prefill et le time per output token (TPOT) de chaque requête pour la phase de décodage »).
Exemple chiffré : une requête avec un prompt de 20 000 tokens et une réponse de 300 tokens effectue le prefill des 20 000 tokens avant qu’apparaisse le premier token streamé, puis 300 étapes de decode successives. Diviser le prompt par deux raccourcit l’attente du premier token ; cela ne change pas la vitesse d’arrivée des 300 tokens.
Pourquoi c’est important
- Le time to first token suit la taille du prompt. Les longs prompts système, les documents et les listes d’outils ajoutent tous du travail de prefill. Les préfixes en cache en évitent une partie : c’est pourquoi les tokens d’entrée en cache peuvent faire démarrer plus vite les longs prompts.
- Les tokens par seconde sont une mesure du decode. La vitesse de sortie dépend de la rapidité de chaque étape de decode, que le speculative decoding cherche à augmenter.
- Les phases interfèrent. Quand un serveur exécute les deux sur le même GPU, un gros prefill peut mettre en pause les decodes des autres utilisateurs. DistServe signale de « strong prefill-decoding interferences » (traduction : « fortes interférences entre prefill et décodage ») et place les phases sur des GPU différents. Sarathi-Serve, à l’inverse, « splits a prefill request into near equal sized chunks » (traduction : « découpe une requête de prefill en morceaux de taille presque égale ») et les ordonnance « without pausing ongoing decodes » (traduction : « sans mettre en pause les decodes en cours »).
- Les moteurs exposent le compromis. Le guide de réglage de vLLM indique que le chunked prefill lui permet de regrouper des morceaux de prefill avec des requêtes de decode. Un
max_num_batched_tokensplus petit améliore la latence entre tokens, un plus grand favorise le TTFT et le débit.
Le guide latence, TTFT et débit montre comment mesurer les deux phases côté client.
Sur BroadNet Inference
BroadNet ne publie pas la façon dont ses serveurs ordonnancent prefill et decode. Ce que vous pouvez voir, c’est l’effet : streamez une réponse comme dans le guide du streaming, journalisez le délai jusqu’au premier chunk de contenu (surtout prefill plus file d’attente) et le rythme des chunks suivants (decode). Sur GLM 5.3, DeepSeek V4.1 Flash et Qwen3.8 27B, les tokens de raisonnement sont eux aussi générés pendant le decode : ils retardent donc la réponse visible et comptent dans max_tokens.
Erreurs fréquentes
- Attribuer un premier token lent à la vitesse de sortie du modèle. Vérifiez d’abord la longueur du prompt.
- Faire un benchmark avec un prompt minuscule. Les vrais prompts à long contexte ont un prefill bien plus long.