BroadRouter
Mulai

Chat template

Diperbarui

Chat template adalah aturan format, biasanya ditulis dengan Jinja dan disertakan bersama tokenizer model, yang mengubah daftar pesan chat beserta perannya menjadi satu urutan token yang diharapkan model, termasuk token kontrol khususnya. Memakai template yang salah bisa sangat menurunkan kualitas jawaban model.

Disebut juga: chat template, template chat, template percakapan, chat_template, Jinja chat template, tokenizer chat template

Model chat tidak pernah melihat daftar pesan. Yang dilihatnya adalah satu deretan token panjang. Chat template menentukan seperti apa deretan itu.

Cara kerjanya

Panduan Hugging Face menyebut poin kuncinya: semua causal language model “continue a sequence of tokens” (terjemahan: melanjutkan urutan token), dan dictionary peran dan konten yang Anda berikan “get converted to a token sequence, often with control tokens” (terjemahan: diubah menjadi urutan token, sering kali dengan token kontrol). Model yang berbeda memakai format yang berbeda, “even if they were fine-tuned from the same base model” (terjemahan: bahkan jika di-fine-tune dari base model yang sama).

Percakapan pendek yang sama, dirender oleh dua template dalam panduan itu:

Mistral-7B-Instruct:
<s>[INST] Hello, how are you? [/INST]I'm doing great. How can I help you today?</s>

Zephyr-7B:
<|user|>
Hello, how are you?</s>
<|assistant|>
I'm doing great. How can I help you today?</s>

Di Transformers, Anda merender percakapan dengan tokenizer.apply_chat_template(messages, add_generation_prompt=True). Flag add_generation_prompt menambahkan token yang membuka giliran asisten; tanpa token itu, panduan tersebut memperingatkan, model mungkin melanjutkan pesan pengguna alih-alih membalas.

Template juga bisa membawa fitur model. Model card Gemma 4 dari Google mengatakan mode berpikir diaktifkan dengan menaruh token <|think|> di awal system prompt, dan bahwa “many libraries like Transformers and llama.cpp handle the complexities of the chat template for you.” (terjemahan: banyak pustaka seperti Transformers dan llama.cpp menangani kerumitan chat template untuk Anda.)

Kenapa ini penting

  • Kualitas. Panduan itu menyatakan bahwa “with the wrong control tokens, these models would have drastically worse performance.” (terjemahan: dengan token kontrol yang salah, performa model-model ini akan jauh lebih buruk.)
  • Self-hosting. Serving engine butuh template untuk menerima request chat. Dokumentasi vLLM mengatakan tanpa template “all chat requests will error” (terjemahan: semua request chat akan error), dan menerima --chat-template untuk menyediakannya. Lihat vLLM.
  • Jumlah token. Token kontrol dihitung sebagai token input. Artikel kami tentang menghitung token sebelum mengirim membahas mengapa hitungan lokal dan hitungan tagihan berbeda.
  • Token khusus ganda. Panduan itu memperingatkan bahwa menambahkan <bos> atau <eos> lagi setelah templating “is often incorrect or duplicated, hurting model performance” (terjemahan: sering kali salah atau terduplikasi, sehingga merusak performa model).
  • System prompt adalah bagiannya. Di mana system message ditempatkan, dan apakah model punya peran system sama sekali, ditentukan oleh template.

Di BroadNet Inference

API BroadNet adalah endpoint chat completions yang kompatibel dengan OpenAI, jadi Anda mengirim messages dan BroadNet yang menerapkan template; Anda tidak mengirim teks template mentah. BroadNet melaporkan bahwa ia menyajikan Gemma 4 VL 26B dengan “BroadNet conversational chat template” (terjemahan: chat template percakapan BroadNet), template yang disetel untuk alur kerja percakapannya. Jika Anda membandingkan Gemma di BroadNet dengan bobot yang sama yang dijalankan secara lokal, jawabannya bisa berbeda, jadi uji dengan prompt Anda sendiri. BroadNet tidak memublikasikan detail template untuk model lainnya. Artikel armada GPU dan serving mencantumkan pilihan serving Gemma lainnya.

Pertanyaan umum

Apakah saya perlu menerapkan chat template saat memanggil API?

Tidak. Dengan API chat completions, Anda mengirim daftar messages dan penyedia menerapkan template di sisinya. Anda hanya menangani template sendiri saat menjalankan model secara lokal atau memanggil endpoint text completion mentah.

Mengapa jumlah token saya berbeda dari hitungan penyedia?

Template menambahkan token kontrol di sekitar setiap pesan. Menghitung teks pesan saja akan melewatkannya, jadi prompt yang ditagih biasanya sedikit lebih besar.

Apa fungsi add_generation_prompt?

Parameter ini menambahkan token yang memulai giliran asisten, sehingga model membalas alih-alih melanjutkan pesan Anda. Dokumentasi Hugging Face menunjukkannya sebagai <|im_start|>assistant di akhir pada template bergaya ChatML.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity