Mas mura ang mas maiikling prompt, nag-iiwan ng mas malaking bahagi ng context window para sa trabaho, at kadalasang mas maagang naibabalik ang unang token. Pero malabong payo ang “paikliin ang prompt”. Sinusukat ng post na ito ang mga karaniwang pagbabawas sa isang makatotohanang prompt ng support bot, gamit ang totoong tokenizer ng apat na open model at ang o200k_base ng OpenAI, para makita mo kung aling mga edit ang sulit sa oras mo.
Kung nagpapatakbo ka ng coding agent, sinasaklaw ng agent token budget ang loop na iyon. Tungkol sa mga application prompt ang post na ito: mga chatbot, classifier at extraction job.
Paano kami nagsukat?
Amin ang lahat ng bilang sa ibaba, ginawa noong Nobyembre 15, 2026:
- Mga tokenizer. Ang opisyal na
tokenizer.jsonfile ng DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B at Gemma 4 26B A4B ng Google, bawat isa sa naka-pin na Hugging Face revision (tingnan ang Sources), na-load gamit ang Hugging Facetokenizers0.23.3. Dagdag ango200k_basemula satiktoken0.14.0, para ikumpara sa mga GPT model. Hindi idinagdag ang mga special token. - Mga rendered na prompt. Para sa DeepSeek, GLM at Qwen, ni-render din namin ang buong request sa nakalathalang
chat_template.jinjang bawat model (Jinja2 sandbox), kasama ang system prompt, tools, history at tanong, at binilang ang resulta. Malapit iyon sa tinotokenize ng server, pero puwedeng ibang template ang gamitin ng provider, kaya ituring na huling salita angusage.prompt_tokensng API. - Text. Isang synthetic na support bot para sa isang kathang-isip na telecom: 261-salitang system prompt, 10 tool, 8 few-shot example, 40 order row, 20-turn na history at 31-salitang Arabic na talata. Isang data point lang ang isang prompt. Mag-iiba ang matitipid mo; pero magagamit mo ang parehong paraan.
Batay sa model ng Google ang Gemma 4 VL 26B ng BroadNet, kaya tantiya ang bilang nito. Sariling file ng mga model ang ginamit ng iba.
Aling mga pagbabawas ang pinakamaraming natitipid na token?
Raw na text, bago → pagkatapos, kasama ang bahaging natipid:
| Pagbabago | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B | Gemma 4 | GPT o200k |
|---|---|---|---|---|---|
| System prompt: 261 salita → 66 salita | 295 → 88 (70%) | 294 → 89 (70%) | 297 → 95 (68%) | 297 → 96 (68%) | 293 → 86 (71%) |
| Few-shot: 8 example → 3 | 157 → 69 (56%) | 157 → 69 (56%) | 156 → 71 (54%) | 156 → 71 (54%) | 152 → 69 (55%) |
| 40 row: naka-indent na JSON → minified na JSON | 2,446 → 1,606 (34%) | 2,460 → 1,581 (36%) | 3,180 → 1,980 (38%) | 3,210 → 2,010 (37%) | 2,446 → 1,567 (36%) |
| 40 row: minified na JSON → CSV | 1,606 → 948 (41%) | 1,581 → 960 (39%) | 1,980 → 1,359 (31%) | 2,010 → 1,382 (31%) | 1,567 → 946 (40%) |
| 10 tool: mahaba → maikling description | 1,224 → 806 (34%) | 1,214 → 797 (34%) | 1,225 → 806 (34%) | 1,252 → 827 (34%) | 1,202 → 796 (34%) |
| 10 mahabang tool → 3 maikli | 1,224 → 258 (79%) | 1,214 → 257 (79%) | 1,225 → 266 (78%) | 1,252 → 276 (78%) | 1,202 → 255 (79%) |
| Arabic na talata: kumpleto ang patinig → simple | 193 → 74 (62%) | 267 → 78 (71%) | 151 → 62 (59%) | 180 → 64 (64%) | 218 → 62 (72%) |
Halos pareho ang mga percentage sa iba’t ibang tokenizer para sa English na prosa, kaya ang pagbabawas na nakakatulong sa isang model ay nakakatulong din sa iba. Dalawang row ang lumilihis sa pattern na iyon. 23 hanggang 46% na mas maraming token ang order data sa Qwen at Gemma kaysa sa DeepSeek at GLM sa bawat format, dahil hinahati ng tokenizer nila ang mga numero sa iisang digit: 6 na token ang 100200 sa Qwen at 2 sa DeepSeek. At mas matindi ang tama ng Arabic diacritics sa ilang tokenizer kaysa sa iba.
Ano ang itsura ng buong request?
Hindi nakikita ng raw na text ang chat template. Ni-render sa sariling template ng bawat model, gamit ang parehong tanong ng customer, ito ang sukat ng buong prompt:
| Request | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B |
|---|---|---|---|
| A. Mahabang system prompt + 10 mahabang tool | 1,677 | 1,535 | 1,797 |
| B. Pinaikling system prompt + 10 maikling tool | 1,052 | 913 | 1,176 |
| C. Pinaikling system prompt + 3 maikling tool | 574 | 443 | 636 |
| D. Pinaikling system prompt, walang tools | 136 | 121 | 174 |
| C + 20 naunang turn nang buo | 2,374 | 2,243 | 2,693 |
| C + 3-linyang buod + huling 4 na turn | 979 | 849 | 1,103 |
Mula A papuntang C, mga 65 hanggang 71% ang nabawas sa bawat request (64.6% sa Qwen, 71.1% sa GLM). Karamihan noon ay galing sa tools. Kapag ni-render kasama ang mahabang system prompt, nagdagdag ang 10 mahabang tool ng 1,334 token sa DeepSeek, 1,209 sa GLM at 1,421 sa Qwen; nagdagdag naman ang 3 maikling tool sa C ng 322 hanggang 462 kumpara sa D. Kasama ang mga tool calling schema sa bawat request, gamitin man ito ng model o hindi.
Sa malaking volume, lumalaki ito. Sa Qwen3.8 27B, 1,161 token kada request ang natitipid mula A papuntang C. Sa 100,000 request kada buwan, mga 116 milyong input token iyon, o 116 × $0.175 kada buwan sa standard na presyo ng input.
Paano paikliin ang system prompt nang hindi ito nasisira?
Parehong pitong patakaran ang dala ng 261-salita at 66-salitang prompt namin. Iisang uri lang ang lahat ng pagbabawas:
- Tanggalin ang pagiging magalang sa model. Ang “It is very important that you always remain polite and courteous at all times” (salin: Napakahalaga na lagi kang magalang at mapitagan sa lahat ng oras) ay naging wala: ipinapahiwatig na ito ng role line.
- Isang patakaran kada linya. Pinalitan ng mga bullet ang mga pangungusap na “Please make sure that you always…” (salin: Pakitiyak na lagi mong…).
- Pagsamahin ang mga doble. Ang tatlong pangungusap tungkol sa wika ay naging “Reply in the customer’s language (Arabic or English), briefly.” (salin: Sumagot sa wika ng customer (Arabic o English), nang maikli.)
- Burahin ang mga default na inuulit lang. Walang binabago ang “Remember to always be helpful!” (salin: Tandaang laging maging matulungin!).
Pagkatapos, mag-test. Mas malaki ang gastos ng mas maikling prompt na nawalan ng patakaran kaysa sa natitipid nito. Patakbuhin ang dalawang bersyon sa parehong 50 hanggang 100 totoong input at ikumpara, gaya ng sa pag-evaluate ng LLM bago lumipat.
Ilang few-shot example ang kailangan mo?
Mas kaunti kaysa sa dala ng karamihan ng prompt. Binabayaran sa bawat call ang bawat few-shot example. Panatilihin ang mga nag-aayos ng pagkakamaling ginagawa ng model kapag wala sila, gaya ng example sa dialect para sa isang Arabic classifier, at tanggalin ang mga tama na ang sagot ng model kahit wala sila. 54 hanggang 56% ng examples block ang natipid ng pagbabawas namin mula 8 papuntang 3. Kung sapat ang 3 para sa task mo ay tanong ng accuracy, hindi ng token, kaya suriin ito sa test set mo.
Dapat mo bang ipadala nang iba ang tools, data at history?
Tools. Ipadala lang ang mga tool na magagamit ng kasalukuyang step. Kailangan ng tanong tungkol sa billing ang get_account, get_bill at create_ticket, hindi ang order_esim. Paikliin ang mga description sa kailangan lang ng model para pumili at punan ang tool. Walang epekto rito ang indentation: lahat ng template na ni-render namin ay sine-serialize ulit ang tools array gamit ang tojson, kaya pareho ang gastos ng pretty-printed at minified na tools array.
Data sa mga mensahe. Ipinapadala nang eksakto kung paano isinulat ang data na idinidikit mo sa isang mensahe. I-minify man lang ang JSON. Para sa mga flat na record, inaalis ng CSV o TSV ang mga paulit-ulit na key: 31 hanggang 41% na mas kaunting token kaysa sa minified na JSON sa test namin. Manatiling JSON ang nested na data. Tiyaking nababasa pa rin nang tama ng model ang mga column.
History. Ipinapadala ulit ang bawat nakaraang turn. Nang palitan ng tatlong-linyang buod ang 16 na lumang turn, at panatilihing buo ang huling apat na turn, bumaba ang Qwen prompt mula 2,693 hanggang 1,103 token. Nawawala sa buod ang mga detalyeng puwedeng balikan ng user, at binabago ng pag-rewrite nito ang prefix, na sumisira sa caching. Sinasaklaw ng context management ng long-running agent kung kailan dapat mag-compact.
Arabic diacritics. Karamihan ng Arabic ay isinusulat nang walang maiikling patinig. Kung kumpleto ang patinig ng input mo, mula sa diksyunaryo, textbook o relihiyosong source, 59 hanggang 72% ang nabawas sa talata namin nang tanggalin ang mga marka (U+064B hanggang U+0652). Panatilihin ang mga ito kapag nakadepende sa kanila ang task, gaya ng pagtuturo o tula. Sinasaklaw ng Arabic text normalization ang iba pang character na sulit i-normalize, at ng token kada salita sa Arabic ang mas malawak na agwat sa English.
Saan pumapasok ang caching?
Hindi pinaliliit ng caching ang prompt. Pinapamura nito ang paulit-ulit na bahagi. Sinasabi ng caching guide ng OpenAI na dapat tumugma ang “the entire rendered prefix” (salin: ang buong rendered prefix) at pinapayong ilagay muna ang mga stable na instruction. Inilalarawan ng pricing page ng BroadNet ang cached input bilang “usually the repeated start of recent requests, such as a long system prompt” (salin: kadalasan ang paulit-ulit na simula ng mga kamakailang request, gaya ng mahabang system prompt), na walang kailangang i-setup, at iniuulat ng docs nito ang mga hit sa usage.prompt_tokens_details.cached_tokens.
Kaya ito ang pagkakasunod: paikliin muna, pagkatapos ay gawing stable ang pinaikling prefix. System prompt at tools muna, byte-identical sa bawat call; sunod ang history, dinudugtungan lang; huli ang bagong mensahe. Sa Qwen3.8 27B, $0.0435 kada 1M ang cached input laban sa $0.175. Nasa prompt structure para sa caching ang layout at isang test na nagpapatunay na nagagamit ulit ang prefix. Kasama pa rin sa context window ang mga cached token.
Paano sukatin ang sarili mong prompt?
Magsimula sa bill. I-log ang usage.prompt_tokens kada call site nang isang araw at hanapin ang pinakamalaki. Pagkatapos, ikumpara ang mga bersyon nang lokal gamit ang script na ito, na nagpi-print ng bilang bago at pagkatapos para sa dalawang file:
# pip install tokenizers tiktoken huggingface_hub
import json, sys
import tiktoken
from huggingface_hub import hf_hub_download
from tokenizers import Tokenizer
def hf(repo, rev):
return Tokenizer.from_file(hf_hub_download(repo, "tokenizer.json", revision=rev))
COUNTERS = {
"Qwen3.8 27B": hf("Qwen/Qwen3.8-27B", "37561816e66b5b9153b1b64c10968c18c1e6f4a0").encode,
"GPT o200k": tiktoken.get_encoding("o200k_base").encode,
}
def n(enc, text):
out = enc(text)
return len(out.ids if hasattr(out, "ids") else out)
def diff(before, after):
for name, enc in COUNTERS.items():
a, b = n(enc, before), n(enc, after)
print(f"{name:12} {a:6} -> {b:6} saved {a - b} ({100 * (a - b) / a:.0f}%)")
if __name__ == "__main__":
diff(open(sys.argv[1], encoding="utf-8").read(), open(sys.argv[2], encoding="utf-8").read())
Nang patakbuhin ito sa dalawang system prompt namin, ito ang na-print:
Qwen3.8 27B 297 -> 95 saved 202 (68%)
GPT o200k 293 -> 86 saved 207 (71%)
Idagdag ang repo ng ibang model mula sa listahan ng Sources para ikumpara ang apat. Para sa mabilis na check sa browser, ikinukumpara ng prompt token diff ang dalawang bersyon nang magkatabi, at binibilang ng token counter ang isa. Pagkatapos mag-deploy, kumpirmahin ang natipid sa usage.prompt_tokens, na kasama ang template.
Saan pumapasok ang BroadNet Inference
Ang BroadRouter ay site ng BroadNet. Sinisingil ng BroadNet Inference ang mga prompt token sa presyo ng input ng bawat model at binabasa ang mga paulit-ulit na prefix mula sa cache sa cached na presyo kung may ganoon ang model, kaya parehong nagpapababa ng bill ang mas maiikling prompt at stable na prefix. May 32,768-token na context ang Gemma 4 VL 26B, kung saan mahalaga ang pagbabawas para magkasya at para sa gastos. Sa mga DeepSeek V4.1 Flash plan, walang token meter, pero umiiral pa rin ang 1,048,576-token na context, at mas maaga pa ring bumabalik ang mas maikling prompt. Hindi itinatago ang mga prompt pagkatapos ng bawat request.
