Чат-модель никогда не видит список сообщений. Она видит одну длинную последовательность токенов. Как эта последовательность выглядит, решает шаблон чата.
Как это работает
Руководство Hugging Face формулирует главное: все каузальные языковые модели “continue a sequence of tokens” (перевод: «продолжают последовательность токенов»), а словари с ролью и содержимым, которые вы передаёте, “get converted to a token sequence, often with control tokens” (перевод: «преобразуются в последовательность токенов, часто с управляющими токенами»). Разные модели используют разные форматы, “even if they were fine-tuned from the same base model” (перевод: «даже если они дообучены из одной и той же базовой модели»).
Один и тот же короткий чат, отрисованный двумя шаблонами из руководства:
Mistral-7B-Instruct:
<s>[INST] Hello, how are you? [/INST]I'm doing great. How can I help you today?</s>
Zephyr-7B:
<|user|>
Hello, how are you?</s>
<|assistant|>
I'm doing great. How can I help you today?</s>
В Transformers чат отрисовывается вызовом tokenizer.apply_chat_template(messages, add_generation_prompt=True). Флаг add_generation_prompt добавляет токены, открывающие ход ассистента; без них, как предупреждает руководство, модель может продолжить сообщение пользователя вместо ответа.
Шаблоны могут нести и функции модели. В карточке Gemma 4 от Google сказано, что режим размышлений включается токеном <|think|> в начале системного промпта и что “many libraries like Transformers and llama.cpp handle the complexities of the chat template for you.” (перевод: «многие библиотеки, например Transformers и llama.cpp, берут сложности шаблона чата на себя».)
Почему это важно
- Качество. Руководство говорит, что “with the wrong control tokens, these models would have drastically worse performance.” (перевод: «с неверными управляющими токенами эти модели работали бы резко хуже».)
- Самостоятельный хостинг. Движкам обслуживания нужен шаблон, чтобы принимать чат-запросы. Документация vLLM говорит, что без него “all chat requests will error” (перевод: «все чат-запросы будут завершаться ошибкой»), и позволяет передать его через
--chat-template. См. vLLM. - Подсчёт токенов. Управляющие токены считаются входными токенами. Почему локальный подсчёт расходится с оплачиваемым, объясняет наша статья о подсчёте токенов перед отправкой.
- Двойные специальные токены. Руководство предупреждает, что повторное добавление
<bos>или<eos>после применения шаблона “is often incorrect or duplicated, hurting model performance” (перевод: «часто ошибочно или дублируется, что ухудшает работу модели»). - Системный промпт — тоже часть шаблона. Куда попадает системное сообщение и есть ли у модели системная роль вообще, решает шаблон.
В BroadNet Inference
API BroadNet — это OpenAI-совместимый эндпоинт chat completions: вы отправляете messages, а шаблон применяет BroadNet; сырой текст шаблона вы не отправляете. BroadNet сообщает, что обслуживает Gemma 4 VL 26B с “BroadNet conversational chat template” (перевод: «диалоговым шаблоном чата BroadNet») — шаблоном, настроенным под её диалоговый сценарий. Если сравнивать Gemma в BroadNet с теми же весами, запущенными локально, ответы могут различаться, поэтому тестируйте на своих промптах. Подробностей о шаблонах остальных моделей BroadNet не публикует. Другие решения BroadNet по обслуживанию Gemma перечислены в статье о парке GPU и обслуживании моделей.