BroadRouter
Commencer

Chat template (modèle de conversation)

Mis à jour

Un chat template est la règle de mise en forme, généralement écrite en Jinja et livrée avec le tokenizer d’un modèle, qui convertit une liste de messages de chat avec leurs rôles en la séquence unique de tokens attendue par le modèle, tokens de contrôle spéciaux compris. Un mauvais template peut fortement dégrader les réponses d’un modèle.

Aussi appelé : chat template, modèle de chat, template de conversation, modèle de conversation, chat_template, template Jinja, Jinja chat template, tokenizer chat template

Un modèle de chat ne voit jamais une liste de messages. Il voit une longue suite de tokens. Le chat template décide de quoi cette suite a l’air.

Comment ça marche

Le guide de Hugging Face pose le point clé : tous les modèles de langage causaux « continue a sequence of tokens » (traduction : « prolongent une séquence de tokens »), et les dictionnaires de rôle et de contenu que vous transmettez « get converted to a token sequence, often with control tokens » (traduction : « sont convertis en une séquence de tokens, souvent avec des tokens de contrôle »). Des modèles différents utilisent des formats différents, « even if they were fine-tuned from the same base model » (traduction : « même s’ils ont été affinés à partir du même modèle de base »).

La même courte conversation, rendue par deux templates du guide :

Mistral-7B-Instruct:
<s>[INST] Hello, how are you? [/INST]I'm doing great. How can I help you today?</s>

Zephyr-7B:
<|user|>
Hello, how are you?</s>
<|assistant|>
I'm doing great. How can I help you today?</s>

Dans Transformers, on rend une conversation avec tokenizer.apply_chat_template(messages, add_generation_prompt=True). Le drapeau add_generation_prompt ajoute les tokens qui ouvrent un tour de l’assistant ; sans eux, prévient le guide, le modèle risque de prolonger le message de l’utilisateur au lieu de répondre.

Les templates peuvent aussi porter des fonctions du modèle. La fiche de Gemma 4 de Google indique que le mode thinking s’active en plaçant un token <|think|> au début du prompt système, et que « many libraries like Transformers and llama.cpp handle the complexities of the chat template for you » (traduction : « de nombreuses bibliothèques comme Transformers et llama.cpp gèrent pour vous les subtilités du chat template »).

Pourquoi c’est important

  • Qualité. Le guide indique qu’« with the wrong control tokens, these models would have drastically worse performance » (traduction : « avec les mauvais tokens de contrôle, ces modèles auraient des performances nettement moins bonnes »).
  • Auto-hébergement. Les moteurs de service ont besoin d’un template pour accepter des requêtes de chat. La documentation de vLLM indique que, sans template, « all chat requests will error » (traduction : « toutes les requêtes de chat échoueront »), et accepte --chat-template pour en fournir un. Voir vLLM.
  • Décompte des tokens. Les tokens de contrôle comptent comme des tokens d’entrée. Notre article sur le comptage des tokens avant l’envoi explique pourquoi les décomptes locaux et facturés diffèrent.
  • Tokens spéciaux en double. Le guide prévient que rajouter <bos> ou <eos> après l’application du template « is often incorrect or duplicated, hurting model performance » (traduction : « est souvent incorrect ou redondant, ce qui nuit aux performances du modèle »).
  • Le prompt système en fait partie. L’endroit où atterrit le message système, et le fait même qu’un modèle ait un rôle système, sont décidés par le template.

Sur BroadNet Inference

L’API de BroadNet est un endpoint de chat completions compatible OpenAI : vous envoyez messages et BroadNet applique le template ; vous n’envoyez pas de texte de template brut. BroadNet indique servir Gemma 4 VL 26B avec un « BroadNet conversational chat template » (traduction : « chat template conversationnel de BroadNet »), un template ajusté à son flux conversationnel. Si vous comparez le Gemma de BroadNet aux mêmes poids exécutés en local, les réponses peuvent différer : testez avec vos propres prompts. BroadNet ne publie pas le détail des templates de ses autres modèles. L’article sur la flotte GPU et le service liste ses autres choix de service pour Gemma.

Questions fréquentes

Faut-il appliquer un chat template quand on appelle une API ?

Non. Avec une API de chat completions, vous envoyez une liste de messages et le fournisseur applique le template de son côté. Vous ne gérez les templates vous-même que si vous exécutez un modèle en local ou appelez un endpoint de complétion de texte brut.

Pourquoi mes décomptes de tokens diffèrent-ils de ceux du fournisseur ?

Le template ajoute des tokens de contrôle autour de chaque message. Compter seulement le texte de vos messages les omet : le prompt facturé est donc en général un peu plus grand.

À quoi sert add_generation_prompt ?

Il ajoute les tokens qui ouvrent un tour de l’assistant, pour que le modèle réponde au lieu de prolonger votre message. La documentation de Hugging Face le montre comme un <|im_start|>assistant final dans les templates de style ChatML.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity