BroadRouter
शुरू करें

चैट टेम्पलेट (chat template)

अपडेट किया गया

चैट टेम्पलेट वह फ़ॉर्मैटिंग नियम है, आम तौर पर Jinja में लिखा और मॉडल के tokenizer के साथ आने वाला, जो roles वाले चैट मैसेज की सूची को उस एक टोकन क्रम में बदलता है जिसकी मॉडल उम्मीद करता है, उसके special control टोकन समेत। ग़लत टेम्पलेट से मॉडल के जवाब बहुत बिगड़ सकते हैं।

अन्य नाम: चैट टेम्पलेट, chat template kya hai, chat_template, Jinja chat template, tokenizer chat template

चैट मॉडल कभी मैसेज की सूची नहीं देखता। वह टोकन की एक लंबी कतार देखता है। वह कतार कैसी दिखेगी, यह चैट टेम्पलेट तय करता है।

यह कैसे काम करता है

Hugging Face की गाइड मुख्य बात बताती है: सभी causal लैंग्वेज मॉडल “continue a sequence of tokens” (अनुवाद: टोकन के एक क्रम को आगे बढ़ाते हैं), और आपके भेजे role और content वाले dictionaries “get converted to a token sequence, often with control tokens” (अनुवाद: टोकन क्रम में बदले जाते हैं, अक्सर control टोकन के साथ)। अलग मॉडल अलग फ़ॉर्मैट इस्तेमाल करते हैं, “even if they were fine-tuned from the same base model” (अनुवाद: भले ही वे एक ही base मॉडल से fine-tune हुए हों)।

गाइड में वही छोटी चैट दो टेम्पलेट से ऐसे बनती है:

Mistral-7B-Instruct:
<s>[INST] Hello, how are you? [/INST]I'm doing great. How can I help you today?</s>

Zephyr-7B:
<|user|>
Hello, how are you?</s>
<|assistant|>
I'm doing great. How can I help you today?</s>

Transformers में आप चैट को tokenizer.apply_chat_template(messages, add_generation_prompt=True) से रेंडर करते हैं। add_generation_prompt फ़्लैग assistant की बारी खोलने वाले टोकन जोड़ता है; गाइड चेतावनी देती है कि इनके बिना मॉडल जवाब देने के बजाय यूज़र का मैसेज आगे बढ़ा सकता है।

टेम्पलेट मॉडल के फ़ीचर भी ले जा सकते हैं। Google का Gemma 4 कार्ड कहता है कि thinking सिस्टम प्रॉम्प्ट की शुरुआत में <|think|> टोकन रखकर चालू होता है, और “many libraries like Transformers and llama.cpp handle the complexities of the chat template for you.” (अनुवाद: Transformers और llama.cpp जैसी कई लाइब्रेरी चैट टेम्पलेट की जटिलताएँ आपके लिए सँभालती हैं।)

यह क्यों मायने रखता है

  • क्वालिटी। गाइड कहती है कि “with the wrong control tokens, these models would have drastically worse performance.” (अनुवाद: ग़लत control टोकन के साथ इन मॉडल का प्रदर्शन बहुत ख़राब होगा।)
  • सेल्फ़-होस्टिंग। चैट अनुरोध लेने के लिए सर्विंग इंजन को टेम्पलेट चाहिए। vLLM के डॉक्स कहते हैं कि इसके बिना “all chat requests will error” (अनुवाद: सभी चैट अनुरोध एरर देंगे), और इसे देने के लिए --chat-template लेते हैं। vLLM देखें।
  • टोकन गिनती। control टोकन इनपुट टोकन में गिने जाते हैं। भेजने से पहले टोकन गिनना वाली हमारी पोस्ट बताती है कि लोकल गिनती और बिल की गिनती अलग क्यों होती है।
  • दोहरे special टोकन। गाइड चेतावनी देती है कि टेम्पलेट के बाद फिर से <bos> या <eos> जोड़ना “is often incorrect or duplicated, hurting model performance” (अनुवाद: अक्सर ग़लत या दोहराया हुआ होता है, जिससे मॉडल का प्रदर्शन घटता है)।
  • सिस्टम प्रॉम्प्ट भी इसका हिस्सा है। सिस्टम मैसेज कहाँ जाएगा, और मॉडल में सिस्टम role है भी या नहीं, यह टेम्पलेट तय करता है।

BroadNet Inference पर

BroadNet का API एक OpenAI-compatible chat completions एंडपॉइंट है, इसलिए आप messages भेजते हैं और टेम्पलेट BroadNet लगाता है; आप कच्चा टेम्पलेट टेक्स्ट नहीं भेजते। BroadNet बताता है कि वह Gemma 4 VL 26B को “BroadNet conversational chat template” के साथ सर्व करता है, जो उसके बातचीत वाले वर्कफ़्लो के लिए ट्यून किया गया टेम्पलेट है। अगर आप BroadNet के Gemma की तुलना लोकल चलाए गए उन्हीं weights से करें, तो जवाब अलग हो सकते हैं, इसलिए अपने प्रॉम्प्ट से टेस्ट करें। BroadNet अपने दूसरे मॉडल के टेम्पलेट का विवरण प्रकाशित नहीं करता। GPU फ़्लीट और सर्विंग पोस्ट Gemma सर्विंग के उसके दूसरे फ़ैसले बताती है।

अक्सर पूछे जाने वाले सवाल

API कॉल करते समय क्या मुझे चैट टेम्पलेट लगाना पड़ता है?

नहीं। chat completions API में आप messages की सूची भेजते हैं और प्रोवाइडर अपनी तरफ़ टेम्पलेट लगाता है। टेम्पलेट ख़ुद तभी सँभालने पड़ते हैं जब आप मॉडल लोकल चलाते हैं या कच्चा text-completion एंडपॉइंट कॉल करते हैं।

मेरी टोकन गिनती प्रोवाइडर से अलग क्यों आती है?

टेम्पलेट हर मैसेज के चारों ओर control टोकन जोड़ता है। सिर्फ़ अपने मैसेज का टेक्स्ट गिनने पर वे छूट जाते हैं, इसलिए बिल होने वाला प्रॉम्प्ट आम तौर पर थोड़ा बड़ा होता है।

add_generation_prompt क्या करता है?

यह assistant की बारी शुरू करने वाले टोकन जोड़ता है, ताकि मॉडल आपके मैसेज को आगे बढ़ाने के बजाय जवाब दे। Hugging Face के डॉक्स ChatML-शैली के टेम्पलेट में इसे आख़िर में <|im_start|>assistant के रूप में दिखाते हैं।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें