Prompt yang lebih pendek lebih murah, menyisakan lebih banyak ruang context window untuk pekerjaan, dan biasanya mengembalikan token pertama lebih cepat. Tetapi “perpendek prompt-nya” adalah saran yang samar. Artikel ini mengukur pemangkasan yang umum pada satu prompt bot customer service yang realistis, dengan tokenizer asli dari empat model terbuka dan o200k_base milik OpenAI, sehingga Anda bisa melihat suntingan mana yang sepadan dengan waktu Anda.
Jika Anda menjalankan agen coding, anggaran token agen membahas loop tersebut. Artikel ini membahas prompt aplikasi: chatbot, classifier, dan job ekstraksi.
Bagaimana kami mengukurnya?
Semua angka di bawah adalah hitungan kami, dibuat pada 15 November 2026:
- Tokenizer. File
tokenizer.jsonresmi untuk DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B, dan Gemma 4 26B A4B milik Google, masing-masing pada revisi Hugging Face yang dikunci (lihat Sumber), dimuat dengantokenizers0.23.3 dari Hugging Face. Ditambaho200k_basedaritiktoken0.14.0, sebagai pembanding dengan model GPT. Token khusus tidak ditambahkan. - Prompt yang dirender. Untuk DeepSeek, GLM, dan Qwen, kami juga merender permintaan lengkap melalui
chat_template.jinjayang dipublikasikan setiap model (sandbox Jinja2), dengan system prompt, tool, riwayat, dan pertanyaan, lalu menghitung hasilnya. Ini mendekati apa yang ditokenisasi server, tetapi penyedia bisa memakai template berbeda, jadi jadikanusage.prompt_tokensdari API sebagai acuan akhir. - Teks. Bot customer service sintetis untuk perusahaan telekomunikasi fiktif: system prompt 261 kata, 10 tool, 8 contoh few-shot, 40 baris pesanan, riwayat 20 giliran, dan satu paragraf bahasa Arab 31 kata. Satu prompt hanyalah satu titik data. Penghematan Anda akan berbeda; metodenya tetap bisa dipakai.
Gemma 4 VL 26B milik BroadNet didasarkan pada model Google, jadi hitungannya merupakan perkiraan. Model lainnya memakai file milik model itu sendiri.
Pemangkasan mana yang paling menghemat token?
Teks mentah, sebelum → sesudah, dengan porsi yang dihemat:
| Perubahan | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B | Gemma 4 | GPT o200k |
|---|---|---|---|---|---|
| System prompt: 261 kata → 66 kata | 295 → 88 (70%) | 294 → 89 (70%) | 297 → 95 (68%) | 297 → 96 (68%) | 293 → 86 (71%) |
| Few-shot: 8 contoh → 3 | 157 → 69 (56%) | 157 → 69 (56%) | 156 → 71 (54%) | 156 → 71 (54%) | 152 → 69 (55%) |
| 40 baris: JSON berindentasi → JSON minify | 2.446 → 1.606 (34%) | 2.460 → 1.581 (36%) | 3.180 → 1.980 (38%) | 3.210 → 2.010 (37%) | 2.446 → 1.567 (36%) |
| 40 baris: JSON minify → CSV | 1.606 → 948 (41%) | 1.581 → 960 (39%) | 1.980 → 1.359 (31%) | 2.010 → 1.382 (31%) | 1.567 → 946 (40%) |
| 10 tool: deskripsi panjang → singkat | 1.224 → 806 (34%) | 1.214 → 797 (34%) | 1.225 → 806 (34%) | 1.252 → 827 (34%) | 1.202 → 796 (34%) |
| 10 tool panjang → 3 tool singkat | 1.224 → 258 (79%) | 1.214 → 257 (79%) | 1.225 → 266 (78%) | 1.252 → 276 (78%) | 1.202 → 255 (79%) |
| Paragraf Arab: harakat lengkap → tanpa harakat | 193 → 74 (62%) | 267 → 78 (71%) | 151 → 62 (59%) | 180 → 64 (64%) | 218 → 62 (72%) |
Untuk prosa bahasa Inggris, persentasenya mirip di semua tokenizer, jadi pemangkasan yang membantu di satu model juga membantu di model lain. Dua baris mematahkan pola itu. Data pesanan memakan 23–46% lebih banyak token di Qwen dan Gemma dibanding DeepSeek dan GLM di setiap format, karena tokenizer keduanya memecah angka menjadi digit tunggal: 100200 adalah 6 token di Qwen dan 2 di DeepSeek. Selain itu, harakat Arab memukul sebagian tokenizer jauh lebih keras daripada yang lain.
Seperti apa satu permintaan utuh?
Teks mentah melewatkan chat template. Dirender melalui template milik setiap model, dengan pertanyaan pelanggan yang sama, ini hasil pengukuran prompt lengkapnya:
| Permintaan | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B |
|---|---|---|---|
| A. System prompt panjang + 10 tool panjang | 1.677 | 1.535 | 1.797 |
| B. System prompt dipangkas + 10 tool singkat | 1.052 | 913 | 1.176 |
| C. System prompt dipangkas + 3 tool singkat | 574 | 443 | 636 |
| D. System prompt dipangkas, tanpa tool | 136 | 121 | 174 |
| C + 20 giliran sebelumnya secara utuh | 2.374 | 2.243 | 2.693 |
| C + ringkasan 3 baris + 4 giliran terakhir | 979 | 849 | 1.103 |
Beralih dari A ke C memangkas sekitar 65–71% dari setiap permintaan (64,6% di Qwen, 71,1% di GLM). Sebagian besar berasal dari tool. Dirender dengan system prompt yang panjang, 10 tool panjang menambah 1.334 token di DeepSeek, 1.209 di GLM, dan 1.421 di Qwen; 3 tool singkat di C menambah 322–462 di atas D. Skema tool calling ikut terbawa di setiap permintaan, dipakai model atau tidak.
Pada volume besar, ini menumpuk. Di Qwen3.8 27B, beralih dari A ke C menghemat 1.161 token per permintaan. Pada 100.000 permintaan per bulan, itu sekitar 116 juta token input, atau 116 × $0.175 per bulan dengan harga input standar.
Bagaimana memangkas system prompt tanpa merusaknya?
Prompt 261 kata dan 66 kata kami membawa tujuh aturan yang sama. Semua pemangkasannya sejenis:
- Hentikan basa-basi kepada model. “It is very important that you always remain polite and courteous at all times” (sangat penting bahwa Anda selalu sopan dan santun setiap saat) dihapus seluruhnya: baris peran sudah menyiratkannya.
- Satu aturan per baris. Butir-butir menggantikan kalimat “Please make sure that you always…” (pastikan Anda selalu…).
- Gabungkan yang duplikat. Tiga kalimat tentang bahasa menjadi “Reply in the customer’s language (Arabic or English), briefly.” (Balas dalam bahasa pelanggan, Arab atau Inggris, dengan singkat.)
- Hapus pengulangan perilaku default. “Remember to always be helpful!” (Ingat untuk selalu membantu!) tidak mengubah apa pun.
Lalu uji. Prompt yang lebih pendek tetapi kehilangan satu aturan akan merugikan lebih dari yang dihemat. Jalankan kedua versi pada 50–100 input nyata yang sama dan bandingkan, seperti di mengevaluasi LLM sebelum berganti model.
Berapa contoh few-shot yang Anda butuhkan?
Lebih sedikit daripada yang dibawa kebanyakan prompt. Setiap contoh few-shot dibayar di setiap panggilan. Pertahankan contoh yang memperbaiki kesalahan yang dibuat model tanpanya, misalnya contoh dialek untuk classifier bahasa Arab, dan buang yang sudah dijawab benar oleh model. Pemangkasan 8 → 3 kami menghemat 54–56% dari blok contoh. Cukup tidaknya 3 contoh untuk tugas Anda adalah soal akurasi, bukan soal token, jadi cek di set uji Anda.
Perlukah tool, data, dan riwayat dikirim dengan cara berbeda?
Tool. Kirim hanya tool yang bisa dipakai pada langkah saat ini. Pertanyaan soal tagihan membutuhkan get_account, get_bill, dan create_ticket, bukan order_esim. Persingkat deskripsi sampai sebatas yang dibutuhkan model untuk memilih dan mengisi tool. Indentasi tidak berpengaruh di sini: semua template yang kami render menyerialisasi ulang array tools dengan tojson, jadi array tools yang diformat rapi berbiaya sama dengan yang di-minify.
Data di dalam pesan. Data yang Anda tempel ke dalam pesan dikirim apa adanya. Minimal, minify JSON-nya. Untuk record datar, CSV atau TSV membuang key yang berulang: 31–41% lebih sedikit token daripada JSON yang di-minify dalam pengujian kami. Data bersarang tetap JSON. Pastikan model masih membaca kolomnya dengan benar.
Riwayat. Setiap giliran sebelumnya dikirim ulang. Mengganti 16 giliran lama dengan ringkasan tiga baris, dan mempertahankan empat giliran terakhir apa adanya, memangkas prompt Qwen dari 2.693 menjadi 1.103 token. Ringkasan membuang detail yang mungkin dirujuk ulang oleh pengguna, dan menulis ulang ringkasan mengubah prefiks, yang merusak caching. Manajemen konteks agen yang berjalan lama membahas kapan sebaiknya melakukan kompaksi.
Harakat Arab. Sebagian besar teks Arab ditulis tanpa vokal pendek. Jika input Anda berharakat lengkap, dari kamus, buku pelajaran, atau sumber keagamaan, menghapus tanda-tanda itu (U+064B sampai U+0652) memangkas paragraf kami 59–72%. Pertahankan jika tugasnya bergantung pada harakat, seperti pengajaran atau puisi. Normalisasi teks Arab membahas karakter lain yang layak dinormalisasi, dan token per kata dalam bahasa Arab membahas selisih yang lebih luas dengan bahasa Inggris.
Di mana posisi caching?
Caching tidak menyusutkan prompt. Caching membuat bagian yang berulang lebih murah. Panduan caching OpenAI menyebut “the entire rendered prefix” (seluruh prefiks yang dirender) harus cocok dan menyarankan instruksi yang stabil ditaruh di awal. Halaman harga BroadNet menggambarkan input cache sebagai “usually the repeated start of recent requests, such as a long system prompt” (Terjemahan BroadRouter: biasanya bagian awal yang berulang dari permintaan terbaru, seperti system prompt yang panjang), tanpa perlu setup apa pun, dan dokumentasinya melaporkan hit di usage.prompt_tokens_details.cached_tokens.
Jadi urutannya: perpendek dulu, lalu buat prefiks yang sudah diperpendek itu stabil. System prompt dan tool di awal, identik byte demi byte di setiap panggilan; riwayat berikutnya, hanya ditambah di akhir; pesan baru paling akhir. Di Qwen3.8 27B, input cache berharga $0.0435 per 1 juta dibanding $0.175. Struktur prompt untuk caching berisi tata letaknya dan sebuah tes yang membuktikan prefiksnya dipakai ulang. Token cache tetap dihitung dalam context window.
Bagaimana mengukur prompt Anda sendiri?
Mulai dari tagihan. Catat usage.prompt_tokens per titik panggilan selama sehari dan temukan yang terbesar. Lalu bandingkan versi secara lokal dengan skrip ini, yang mencetak hitungan sebelum dan sesudah untuk dua file:
# pip install tokenizers tiktoken huggingface_hub
import json, sys
import tiktoken
from huggingface_hub import hf_hub_download
from tokenizers import Tokenizer
def hf(repo, rev):
return Tokenizer.from_file(hf_hub_download(repo, "tokenizer.json", revision=rev))
COUNTERS = {
"Qwen3.8 27B": hf("Qwen/Qwen3.8-27B", "37561816e66b5b9153b1b64c10968c18c1e6f4a0").encode,
"GPT o200k": tiktoken.get_encoding("o200k_base").encode,
}
def n(enc, text):
out = enc(text)
return len(out.ids if hasattr(out, "ids") else out)
def diff(before, after):
for name, enc in COUNTERS.items():
a, b = n(enc, before), n(enc, after)
print(f"{name:12} {a:6} -> {b:6} saved {a - b} ({100 * (a - b) / a:.0f}%)")
if __name__ == "__main__":
diff(open(sys.argv[1], encoding="utf-8").read(), open(sys.argv[2], encoding="utf-8").read())
Menjalankannya pada dua system prompt kami menghasilkan:
Qwen3.8 27B 297 -> 95 saved 202 (68%)
GPT o200k 293 -> 86 saved 207 (71%)
Tambahkan repo model lain dari daftar Sumber untuk membandingkan keempatnya. Untuk pengecekan cepat di browser, prompt token diff membandingkan dua versi berdampingan, dan penghitung token menghitung satu versi. Setelah deploy, konfirmasikan penghematannya di usage.prompt_tokens, yang sudah mencakup template.
Posisi BroadNet Inference
BroadRouter adalah situs BroadNet. BroadNet Inference menagih token prompt dengan harga input masing-masing model dan membaca prefiks yang berulang dari cache dengan harga input cache jika model tersebut memilikinya, sehingga prompt yang lebih pendek maupun prefiks yang stabil sama-sama menurunkan tagihan. Gemma 4 VL 26B punya konteks 32.768 token, sehingga pemangkasan penting untuk muat tidaknya prompt, bukan hanya untuk biaya. Di paket DeepSeek V4.1 Flash tidak ada meteran token, tetapi konteks 1.048.576 token tetap berlaku, dan prompt yang lebih pendek tetap lebih cepat dibalas. Prompt tidak disimpan setelah setiap permintaan.
