---
title: "什么是对话模板（chat template）？消息如何变成 token | BroadRouter"
description: "对话模板把带角色和内容的消息列表，转换成对话模型训练时所用的那串 token。模板如何工作，以及用错模板为什么会出问题。"
url: https://broadrouter.com/zh/glossary/chat-template/
lang: zh-Hans
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。 [阅读英文原文](https://broadrouter.com/glossary/chat-template/) (2026-11-15 更新).

# 对话模板（chat template）

更新于 2026-11-15

对话模板是一套格式规则，通常用 Jinja 编写并随模型的分词器一起发布，它把带角色的对话消息列表转换成模型期望的单一 token 序列，包括模型专用的控制 token。用错模板会让模型的回答质量大幅下降。

又称： 对话模板、聊天模板、提示词模板、Jinja 模板、chat\_template、Jinja chat template、tokenizer chat template、chat template

对话模型从来看不到一个消息列表。它看到的是一长串 token。对话模板决定这串 token 长什么样。

## 工作原理

Hugging Face 的指南点明了关键：所有因果语言模型都在 “continue a sequence of tokens”（译文：续写一个 token 序列），你传入的角色和内容字典会 “get converted to a token sequence, often with control tokens”（译文：被转换成 token 序列，通常带有控制 token）。不同模型使用不同的格式，“even if they were fine-tuned from the same base model”（译文：即使它们是从同一个基础模型微调而来的）。

同一段简短对话，用指南中的两个模板渲染：

```text
Mistral-7B-Instruct:
<s>[INST] Hello, how are you? [/INST]I'm doing great. How can I help you today?</s>

Zephyr-7B:
<|user|>
Hello, how are you?</s>
<|assistant|>
I'm doing great. How can I help you today?</s>
```

在 Transformers 中，用 `tokenizer.apply_chat_template(messages, add_generation_prompt=True)` 渲染对话。`add_generation_prompt` 标志会加上开启助手回合的 token；指南提醒，没有它，模型可能会接着写用户的消息，而不是回复。

模板也能承载模型功能。Google 的 Gemma 4 模型卡说，在系统提示词开头放一个 `<|think|>` token 就能开启思考，并且 “many libraries like Transformers and llama.cpp handle the complexities of the chat template for you.”（译文：Transformers 和 llama.cpp 等许多库会替你处理对话模板的复杂细节。）

## 为什么重要

-   **质量。** 指南说：“with the wrong control tokens, these models would have drastically worse performance.”（译文：控制 token 用错，这些模型的表现会大幅变差。）
-   **自托管。** 推理引擎需要模板才能接受对话请求。vLLM 的文档说，没有模板时 “all chat requests will error”（译文：所有对话请求都会报错），并提供 `--chat-template` 参数来指定模板。参见 [vLLM](https://broadrouter.com/zh/glossary/vllm/)。
-   **Token 计数。** 控制 token 也算作输入 [token](https://broadrouter.com/zh/glossary/token/)。我们的文章[发送前先数 token](https://broadrouter.com/zh/blog/count-tokens-before-sending/)解释了本地计数和计费计数为什么不同。
-   **特殊 token 重复。** 指南提醒，在套用模板之后再加一次 `<bos>` 或 `<eos>` “is often incorrect or duplicated, hurting model performance”（译文：往往是错误或重复的，会损害模型表现）。
-   **[系统提示词](https://broadrouter.com/zh/glossary/system-prompt/)也在其中。** 系统消息放在哪里，模型到底有没有系统角色，都由模板决定。

## 在 BroadNet Inference 上

BroadNet 的 API 是 [OpenAI 兼容](https://broadrouter.com/zh/glossary/openai-compatible-api/)的对话补全端点，所以你发送 `messages`，由 BroadNet 套用模板；你不需要发送原始的模板文本。BroadNet 报告称，它提供的 [Gemma 4 VL 26B](https://broadrouter.com/zh/models/gemma-4-vl-26b/) 使用 “BroadNet conversational chat template”（译文：BroadNet 对话式对话模板），这是一个针对其对话工作流调整过的模板。如果你拿 BroadNet 的 Gemma 和本地运行的同一套权重比较，回答可能不同，所以请用你自己的提示词测试。BroadNet 没有公布其他模型的模板细节。[GPU 集群与服务方式](https://broadrouter.com/zh/blog/broadnet-gpu-fleet-and-serving/)一文列出了它在 Gemma 上的其他服务选择。

## 常见问题

### 调用 API 时需要自己套用对话模板吗？

不需要。使用对话补全 API 时，你发送消息列表，由服务商在它那边套用模板。只有在本地运行模型或调用原始的文本补全端点时，才需要自己处理模板。

### 为什么我数的 token 和服务商算的不一样？

模板会在每条消息周围加上控制 token。只数消息文本会漏掉它们，所以计费的提示词通常会稍大一些。

### add\_generation\_prompt 有什么作用？

它会追加开启助手回合的 token，让模型开始回复，而不是接着写你的消息。Hugging Face 的文档在 ChatML 风格的模板里把它展示为末尾的 <|im\_start|>assistant。

## 另请参阅

-   [分词器（tokenizer）](https://broadrouter.com/zh/glossary/tokenizer/) (术语)
-   [系统提示词（system prompt）](https://broadrouter.com/zh/glossary/system-prompt/) (术语)
-   [Token（词元）](https://broadrouter.com/zh/glossary/token/) (术语)
-   [vLLM](https://broadrouter.com/zh/glossary/vllm/) (术语)
-   [OpenAI 兼容 API（OpenAI-compatible API）](https://broadrouter.com/zh/glossary/openai-compatible-api/) (术语)
-   [GGUF](https://broadrouter.com/zh/glossary/gguf/) (术语)
-   [发送大模型请求前，怎么计算 token 数？](https://broadrouter.com/zh/blog/count-tokens-before-sending/) (文章)
-   [BroadNet 的 GPU 硬件与推理部署方式（据 BroadNet 自述）](https://broadrouter.com/zh/blog/broadnet-gpu-fleet-and-serving/) (文章)

用你的真实业务负载试一试。 新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-glossary-chat-template&utm_content=page-cta) ·

**来源**

-   [Hugging Face Transformers 文档：对话模板（2026-11-15 查阅）](https://huggingface.co/docs/transformers/en/chat_templating)
-   [vLLM 文档，在线服务：对话模板（2026-11-15 查阅）](https://docs.vllm.ai/en/latest/serving/online_serving/)
-   [Google：Gemma 4 26B A4B 指令微调模型卡（2026-11-15 查阅）](https://huggingface.co/google/gemma-4-26B-A4B-it)
-   [BroadNet，Gemma 4 VL 26B 模型页：服务配置（2026-11-15 查阅） （英文）](https://www.broadnet.ai/inference/models/gemma-4-vl-26b)
