Un modèle de chat ne voit jamais une liste de messages. Il voit une longue suite de tokens. Le chat template décide de quoi cette suite a l’air.
Comment ça marche
Le guide de Hugging Face pose le point clé : tous les modèles de langage causaux « continue a sequence of tokens » (traduction : « prolongent une séquence de tokens »), et les dictionnaires de rôle et de contenu que vous transmettez « get converted to a token sequence, often with control tokens » (traduction : « sont convertis en une séquence de tokens, souvent avec des tokens de contrôle »). Des modèles différents utilisent des formats différents, « even if they were fine-tuned from the same base model » (traduction : « même s’ils ont été affinés à partir du même modèle de base »).
La même courte conversation, rendue par deux templates du guide :
Mistral-7B-Instruct:
<s>[INST] Hello, how are you? [/INST]I'm doing great. How can I help you today?</s>
Zephyr-7B:
<|user|>
Hello, how are you?</s>
<|assistant|>
I'm doing great. How can I help you today?</s>
Dans Transformers, on rend une conversation avec tokenizer.apply_chat_template(messages, add_generation_prompt=True). Le drapeau add_generation_prompt ajoute les tokens qui ouvrent un tour de l’assistant ; sans eux, prévient le guide, le modèle risque de prolonger le message de l’utilisateur au lieu de répondre.
Les templates peuvent aussi porter des fonctions du modèle. La fiche de Gemma 4 de Google indique que le mode thinking s’active en plaçant un token <|think|> au début du prompt système, et que « many libraries like Transformers and llama.cpp handle the complexities of the chat template for you » (traduction : « de nombreuses bibliothèques comme Transformers et llama.cpp gèrent pour vous les subtilités du chat template »).
Pourquoi c’est important
- Qualité. Le guide indique qu’« with the wrong control tokens, these models would have drastically worse performance » (traduction : « avec les mauvais tokens de contrôle, ces modèles auraient des performances nettement moins bonnes »).
- Auto-hébergement. Les moteurs de service ont besoin d’un template pour accepter des requêtes de chat. La documentation de vLLM indique que, sans template, « all chat requests will error » (traduction : « toutes les requêtes de chat échoueront »), et accepte
--chat-templatepour en fournir un. Voir vLLM. - Décompte des tokens. Les tokens de contrôle comptent comme des tokens d’entrée. Notre article sur le comptage des tokens avant l’envoi explique pourquoi les décomptes locaux et facturés diffèrent.
- Tokens spéciaux en double. Le guide prévient que rajouter
<bos>ou<eos>après l’application du template « is often incorrect or duplicated, hurting model performance » (traduction : « est souvent incorrect ou redondant, ce qui nuit aux performances du modèle »). - Le prompt système en fait partie. L’endroit où atterrit le message système, et le fait même qu’un modèle ait un rôle système, sont décidés par le template.
Sur BroadNet Inference
L’API de BroadNet est un endpoint de chat completions compatible OpenAI : vous envoyez messages et BroadNet applique le template ; vous n’envoyez pas de texte de template brut. BroadNet indique servir Gemma 4 VL 26B avec un « BroadNet conversational chat template » (traduction : « chat template conversationnel de BroadNet »), un template ajusté à son flux conversationnel. Si vous comparez le Gemma de BroadNet aux mêmes poids exécutés en local, les réponses peuvent différer : testez avec vos propres prompts. BroadNet ne publie pas le détail des templates de ses autres modèles. L’article sur la flotte GPU et le service liste ses autres choix de service pour Gemma.