BroadRouter

Prefill et decode

Mis à jour

Le prefill et le decode sont les deux phases de l’inférence d’un LLM. Pendant le prefill, le modèle traite tout le prompt en parallèle et remplit son cache KV ; pendant le decode, il génère la réponse token par token en réutilisant ce cache. Le prefill détermine surtout le time to first token, le decode la vitesse de sortie.

Aussi appelé : prefill, phase de prefill, phase de decode, phase de décodage, pré-remplissage, traitement du prompt, prefill phase, decode phase, prefill stage, prompt processing

Une requête de chat fait deux travaux différents : lire le prompt, puis écrire la réponse. Les ingénieurs en inférence les appellent prefill et decode, et ils se comportent très différemment sur un GPU.

Comment ça marche

  1. Prefill. Le modèle lit tous les tokens du prompt en une passe parallèle et stocke les clés et valeurs d’attention de chaque token dans le cache KV. Rien n’est encore renvoyé.
  2. Decode. Le modèle génère un token, ajoute ses clés et valeurs au cache, et recommence jusqu’à s’arrêter ou atteindre max_tokens.

L’article Sarathi-Serve résume le contraste : « Prefill iterations have high latency but saturate GPU compute due to parallel processing of the input prompt » (traduction : « les itérations de prefill ont une latence élevée mais saturent le calcul GPU grâce au traitement parallèle du prompt »), tandis que « decode iterations have low latency but also low compute utilization. » (traduction : « les itérations de decode ont une faible latence mais aussi une faible utilisation du calcul. »)

Les deux phases correspondent aux deux mesures de latence que ressentent les utilisateurs. L’article DistServe les nomme : « time to first token (TTFT) for the prefill phase and time per output token (TPOT) of each request for the decoding phase » (traduction : « le time to first token (TTFT) pour la phase de prefill et le time per output token (TPOT) de chaque requête pour la phase de décodage »).

Exemple chiffré : une requête avec un prompt de 20 000 tokens et une réponse de 300 tokens effectue le prefill des 20 000 tokens avant qu’apparaisse le premier token streamé, puis 300 étapes de decode successives. Diviser le prompt par deux raccourcit l’attente du premier token ; cela ne change pas la vitesse d’arrivée des 300 tokens.

Pourquoi c’est important

  • Le time to first token suit la taille du prompt. Les longs prompts système, les documents et les listes d’outils ajoutent tous du travail de prefill. Les préfixes en cache en évitent une partie : c’est pourquoi les tokens d’entrée en cache peuvent faire démarrer plus vite les longs prompts.
  • Les tokens par seconde sont une mesure du decode. La vitesse de sortie dépend de la rapidité de chaque étape de decode, que le speculative decoding cherche à augmenter.
  • Les phases interfèrent. Quand un serveur exécute les deux sur le même GPU, un gros prefill peut mettre en pause les decodes des autres utilisateurs. DistServe signale de « strong prefill-decoding interferences » (traduction : « fortes interférences entre prefill et décodage ») et place les phases sur des GPU différents. Sarathi-Serve, à l’inverse, « splits a prefill request into near equal sized chunks » (traduction : « découpe une requête de prefill en morceaux de taille presque égale ») et les ordonnance « without pausing ongoing decodes » (traduction : « sans mettre en pause les decodes en cours »).
  • Les moteurs exposent le compromis. Le guide de réglage de vLLM indique que le chunked prefill lui permet de regrouper des morceaux de prefill avec des requêtes de decode. Un max_num_batched_tokens plus petit améliore la latence entre tokens, un plus grand favorise le TTFT et le débit.

Le guide latence, TTFT et débit montre comment mesurer les deux phases côté client.

Sur BroadNet Inference

BroadNet ne publie pas la façon dont ses serveurs ordonnancent prefill et decode. Ce que vous pouvez voir, c’est l’effet : streamez une réponse comme dans le guide du streaming, journalisez le délai jusqu’au premier chunk de contenu (surtout prefill plus file d’attente) et le rythme des chunks suivants (decode). Sur GLM 5.3, DeepSeek V4.1 Flash et Qwen3.8 27B, les tokens de raisonnement sont eux aussi générés pendant le decode : ils retardent donc la réponse visible et comptent dans max_tokens.

Erreurs fréquentes

  • Attribuer un premier token lent à la vitesse de sortie du modèle. Vérifiez d’abord la longueur du prompt.
  • Faire un benchmark avec un prompt minuscule. Les vrais prompts à long contexte ont un prefill bien plus long.

Questions fréquentes

Pourquoi un long prompt retarde-t-il le premier token ?

Chaque token du prompt doit passer par le prefill avant que le modèle puisse écrire quoi que ce soit. Un prompt plus long demande plus de prefill : le time to first token augmente donc avec la longueur du prompt, sauf si une partie du prompt est servie depuis le cache.

Une réponse plus longue retarde-t-elle le premier token ?

Non. Le premier token attend le prefill du prompt. Une réponse plus longue ajoute seulement des étapes de decode après l’arrivée du premier token.

Qu’est-ce que le chunked prefill ?

Une méthode d’ordonnancement qui découpe un long prompt en morceaux et les intercale avec les étapes de decode en cours, pour qu’un gros prompt ne bloque pas les autres utilisateurs. vLLM l’active par défaut quand c’est possible.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity