BroadRouter
Magsimula

Chat template

Na-update

Ang chat template ay ang formatting rule, kadalasang nakasulat sa Jinja at kasama ng tokenizer ng model, na nagko-convert ng listahan ng chat messages na may role tungo sa iisang token sequence na inaasahan ng model, kasama ang mga special control token nito. Puwedeng lubhang sumama ang sagot ng model kapag mali ang template.

Tinatawag ding: chat_template, Jinja chat template, tokenizer chat template, prompt template, prompt format

Hindi kailanman nakakakita ang chat model ng listahan ng mensahe. Isang mahabang hanay ng token ang nakikita nito. Ang chat template ang nagpapasya kung ano ang itsura ng hanay na iyon.

Paano ito gumagana

Sinasabi ng gabay ng Hugging Face ang pangunahing punto: lahat ng causal language model ay “continue a sequence of tokens” (Salin ng BroadRouter: “nagpapatuloy ng sequence ng token”), at ang mga role at content dictionary na ipinapasa mo ay “get converted to a token sequence, often with control tokens” (Salin ng BroadRouter: “kino-convert sa token sequence, kadalasang may control tokens”). Iba-ibang format ang gamit ng iba’t ibang model, “even if they were fine-tuned from the same base model” (Salin ng BroadRouter: “kahit na-fine-tune pa sila mula sa parehong base model”).

Ang parehong maikling chat, ayon sa pag-render ng dalawang template sa gabay:

Mistral-7B-Instruct:
<s>[INST] Hello, how are you? [/INST]I'm doing great. How can I help you today?</s>

Zephyr-7B:
<|user|>
Hello, how are you?</s>
<|assistant|>
I'm doing great. How can I help you today?</s>

Sa Transformers, nire-render mo ang chat gamit ang tokenizer.apply_chat_template(messages, add_generation_prompt=True). Idinadagdag ng flag na add_generation_prompt ang mga token na nagbubukas ng assistant turn; kung wala ang mga ito, babala ng gabay, puwedeng ituloy ng model ang mensahe ng user sa halip na sumagot.

Puwede ring magdala ng mga feature ng model ang template. Ayon sa card ng Gemma 4 ng Google, binubuksan ang thinking sa paglalagay ng <|think|> token sa simula ng system prompt, at “many libraries like Transformers and llama.cpp handle the complexities of the chat template for you.” (Salin ng BroadRouter: “maraming library gaya ng Transformers at llama.cpp ang humahawak sa pagiging komplikado ng chat template para sa iyo.”)

Bakit ito mahalaga

  • Kalidad. Sabi ng gabay, “with the wrong control tokens, these models would have drastically worse performance.” (Salin ng BroadRouter: “kapag mali ang control tokens, lubhang sasama ang performance ng mga model na ito.”)
  • Self-hosting. Kailangan ng template ang mga serving engine para tumanggap ng chat request. Sabi ng docs ng vLLM, kapag wala ito, “all chat requests will error” (Salin ng BroadRouter: “mag-e-error ang lahat ng chat request”), at tumatanggap ito ng --chat-template para magbigay nito. Tingnan ang vLLM.
  • Bilang ng token. Binibilang bilang input token ang control tokens. Saklaw ng post namin tungkol sa pagbibilang ng token bago magpadala kung bakit nagkakaiba ang lokal na bilang at ang sinisingil na bilang.
  • Dobleng special tokens. Babala ng gabay na ang muling pagdagdag ng <bos> o <eos> pagkatapos ng templating ay “is often incorrect or duplicated, hurting model performance” (Salin ng BroadRouter: “kadalasang mali o nadodoble, na nakasasama sa performance ng model”).
  • Bahagi nito ang system prompt. Ang template ang nagpapasya kung saan napupunta ang system message, at kung may system role ba ang model.

Sa BroadNet Inference

Ang API ng BroadNet ay isang OpenAI-compatible na chat completions endpoint, kaya messages ang ipinapadala mo at ang BroadNet ang nag-a-apply ng template; hindi ka nagpapadala ng raw na template text. Iniulat ng BroadNet na sine-serve nito ang Gemma 4 VL 26B gamit ang “BroadNet conversational chat template”, isang template na inayon sa conversational workflow nito. Kung ikukumpara mo ang Gemma ng BroadNet sa parehong weights na pinatakbo nang lokal, puwedeng magkaiba ang mga sagot, kaya subukan gamit ang sarili mong mga prompt. Hindi inilalathala ng BroadNet ang detalye ng template ng iba nitong model. Nakalista sa post tungkol sa GPU fleet at serving ang iba pang serving choice nito para sa Gemma.

Mga tanong

Kailangan ko bang mag-apply ng chat template kapag tumatawag ako sa API?

Hindi. Sa chat completions API, listahan ng messages ang ipinapadala mo at ang provider ang nag-a-apply ng template sa panig nila. Ikaw lang ang hahawak ng template kapag nagpapatakbo ka ng model nang lokal o tumatawag sa raw text-completion endpoint.

Bakit iba ang bilang ko ng token sa bilang ng provider?

Nagdadagdag ang template ng control tokens sa paligid ng bawat mensahe. Kapag text lang ng mensahe mo ang binilang mo, hindi kasama ang mga iyon, kaya kadalasang bahagyang mas malaki ang sinisingil na prompt.

Ano ang ginagawa ng add_generation_prompt?

Idinadagdag nito ang mga token na nagsisimula ng assistant turn, para sumagot ang model sa halip na ituloy ang mensahe mo. Sa docs ng Hugging Face, ipinapakita ito bilang <|im_start|>assistant sa dulo ng mga ChatML-style na template.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity