Prompt ngắn hơn thì rẻ hơn, chừa lại nhiều cửa sổ context hơn cho công việc, và thường trả về token đầu tiên sớm hơn. Nhưng “hãy viết prompt ngắn lại” là lời khuyên mơ hồ. Bài này đo các cách cắt giảm phổ biến trên một prompt chatbot chăm sóc khách hàng thực tế, bằng tokenizer thật của bốn model mở và o200k_base của OpenAI, để bạn thấy những chỉnh sửa nào đáng bỏ công.
Nếu bạn chạy một coding agent, ngân sách token của agent đề cập vòng lặp đó. Bài này nói về prompt của ứng dụng: chatbot, bộ phân loại và tác vụ trích xuất.
Chúng tôi đo như thế nào?
Mọi con số dưới đây là của chúng tôi, đo ngày 15 tháng 11 năm 2026:
- Tokenizer. Các file
tokenizer.jsonchính thức của DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B và Gemma 4 26B A4B của Google, mỗi file ở một revision Hugging Face cố định (xem phần Nguồn), nạp bằngtokenizers0.23.3 của Hugging Face. Cộng thêmo200k_basetừtiktoken0.14.0 để so sánh với các model GPT. Không thêm token đặc biệt. - Prompt đã render. Với DeepSeek, GLM và Qwen, chúng tôi còn render toàn bộ request qua
chat_template.jinjađược công bố của từng model (sandbox Jinja2), gồm system prompt, tool, lịch sử và câu hỏi, rồi đếm kết quả. Con số này gần với những gì máy chủ token hóa, nhưng nhà cung cấp có thể dùng template khác, nên hãy coiusage.prompt_tokenscủa API là kết luận cuối cùng. - Văn bản. Một chatbot hỗ trợ tổng hợp cho một nhà mạng hư cấu: system prompt 261 từ, 10 tool, 8 ví dụ few-shot, 40 dòng đơn hàng, lịch sử 20 lượt và một đoạn tiếng Ả Rập 31 từ. Một prompt chỉ là một điểm dữ liệu. Mức tiết kiệm của bạn sẽ khác; phương pháp thì dùng lại được.
Gemma 4 VL 26B của BroadNet dựa trên model của Google, nên con số của nó là ước tính. Các model khác dùng file của chính model đó.
Cách cắt giảm nào tiết kiệm nhiều token nhất?
Văn bản thô, trước → sau, kèm tỷ lệ tiết kiệm:
| Thay đổi | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B | Gemma 4 | GPT o200k |
|---|---|---|---|---|---|
| System prompt: 261 từ → 66 từ | 295 → 88 (70%) | 294 → 89 (70%) | 297 → 95 (68%) | 297 → 96 (68%) | 293 → 86 (71%) |
| Few-shot: 8 ví dụ → 3 | 157 → 69 (56%) | 157 → 69 (56%) | 156 → 71 (54%) | 156 → 71 (54%) | 152 → 69 (55%) |
| 40 dòng: JSON thụt lề → JSON rút gọn | 2.446 → 1.606 (34%) | 2.460 → 1.581 (36%) | 3.180 → 1.980 (38%) | 3.210 → 2.010 (37%) | 2.446 → 1.567 (36%) |
| 40 dòng: JSON rút gọn → CSV | 1.606 → 948 (41%) | 1.581 → 960 (39%) | 1.980 → 1.359 (31%) | 2.010 → 1.382 (31%) | 1.567 → 946 (40%) |
| 10 tool: mô tả dài → mô tả ngắn | 1.224 → 806 (34%) | 1.214 → 797 (34%) | 1.225 → 806 (34%) | 1.252 → 827 (34%) | 1.202 → 796 (34%) |
| 10 tool dài → 3 tool ngắn | 1.224 → 258 (79%) | 1.214 → 257 (79%) | 1.225 → 266 (78%) | 1.252 → 276 (78%) | 1.202 → 255 (79%) |
| Đoạn tiếng Ả Rập: đầy đủ dấu nguyên âm → không dấu | 193 → 74 (62%) | 267 → 78 (71%) | 151 → 62 (59%) | 180 → 64 (64%) | 218 → 62 (72%) |
Với văn xuôi tiếng Anh, tỷ lệ phần trăm khá giống nhau giữa các tokenizer, nên một cách cắt giảm có ích trên một model thì cũng có ích trên các model khác. Hai dòng phá vỡ quy luật đó. Dữ liệu đơn hàng tốn trên Qwen và Gemma nhiều hơn 23 đến 46% token so với DeepSeek và GLM ở mọi định dạng, vì tokenizer của chúng tách số thành từng chữ số: 100200 là 6 token trên Qwen và 2 token trên DeepSeek. Và dấu tiếng Ả Rập ảnh hưởng tới một số tokenizer nặng hơn hẳn các tokenizer khác.
Một request hoàn chỉnh trông như thế nào?
Văn bản thô bỏ sót chat template. Khi render qua template của chính từng model, với cùng một câu hỏi của khách hàng, đây là toàn bộ prompt đo được:
| Request | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B |
|---|---|---|---|
| A. System prompt dài dòng + 10 tool dài dòng | 1.677 | 1.535 | 1.797 |
| B. System prompt đã rút gọn + 10 tool ngắn | 1.052 | 913 | 1.176 |
| C. System prompt đã rút gọn + 3 tool ngắn | 574 | 443 | 636 |
| D. System prompt đã rút gọn, không có tool | 136 | 121 | 174 |
| C + 20 lượt trước đầy đủ | 2.374 | 2.243 | 2.693 |
| C + tóm tắt 3 dòng + 4 lượt gần nhất | 979 | 849 | 1.103 |
Chuyển từ A sang C cắt khoảng 65 đến 71% mỗi request (64,6% trên Qwen, 71,1% trên GLM). Phần lớn đến từ tool. Khi render cùng system prompt dài dòng, 10 tool dài dòng thêm 1.334 token trên DeepSeek, 1.209 trên GLM và 1.421 trên Qwen; 3 tool ngắn trong C thêm 322 đến 462 so với D. Schema tool calling đi kèm mọi request, dù model có dùng chúng hay không.
Ở quy mô lớn, con số này cộng dồn. Trên Qwen3.8 27B, chuyển từ A sang C tiết kiệm 1.161 token mỗi request. Với 100.000 request mỗi tháng, đó là khoảng 116 triệu token đầu vào, hay 116 × $0.175 mỗi tháng theo giá đầu vào tiêu chuẩn.
Rút gọn system prompt thế nào mà không làm hỏng nó?
Prompt 261 từ và prompt 66 từ của chúng tôi chứa cùng bảy quy tắc. Các phần cắt đều cùng một kiểu:
- Bỏ lời lẽ lịch sự với model. “It is very important that you always remain polite and courteous at all times” (bản dịch: Điều rất quan trọng là bạn luôn giữ thái độ lịch sự và nhã nhặn mọi lúc) bị bỏ hẳn: dòng vai trò đã hàm ý điều đó.
- Mỗi dòng một quy tắc. Gạch đầu dòng thay cho các câu “Please make sure that you always…” (bản dịch: Hãy đảm bảo rằng bạn luôn…).
- Gộp các ý trùng lặp. Ba câu về ngôn ngữ trở thành “Reply in the customer’s language (Arabic or English), briefly.” (bản dịch: Trả lời ngắn gọn bằng ngôn ngữ của khách hàng (tiếng Ả Rập hoặc tiếng Anh).)
- Xóa những câu nhắc lại hành vi mặc định. “Remember to always be helpful!” (bản dịch: Hãy nhớ luôn hữu ích nhé!) không thay đổi được gì.
Sau đó hãy kiểm thử. Một prompt ngắn hơn mà mất một quy tắc sẽ tốn nhiều hơn số tiết kiệm được. Chạy cả hai phiên bản trên cùng 50 đến 100 đầu vào thực tế và so sánh, như trong đánh giá LLM trước khi chuyển đổi.
Cần bao nhiêu ví dụ few-shot?
Ít hơn số mà phần lớn prompt đang mang theo. Mỗi ví dụ few-shot đều bị tính tiền ở mọi lời gọi. Hãy giữ những ví dụ sửa được một lỗi mà model mắc phải khi thiếu chúng, như một ví dụ phương ngữ cho bộ phân loại tiếng Ả Rập, và bỏ những ví dụ mà model vốn đã làm đúng. Việc cắt từ 8 xuống 3 của chúng tôi tiết kiệm 54 đến 56% khối ví dụ. Liệu 3 có đủ cho tác vụ của bạn hay không là câu hỏi về độ chính xác, không phải về token, nên hãy kiểm tra trên bộ kiểm thử của bạn.
Có nên gửi tool, dữ liệu và lịch sử theo cách khác không?
Tool. Chỉ gửi những tool mà bước hiện tại có thể dùng. Một câu hỏi về hóa đơn cần get_account, get_bill và create_ticket, không cần order_esim. Rút gọn mô tả còn đúng những gì model cần để chọn và điền tool. Thụt lề không quan trọng ở đây: các template chúng tôi đã render đều tuần tự hóa lại mảng tools bằng tojson, nên một mảng tools được định dạng đẹp tốn bằng một mảng đã rút gọn.
Dữ liệu trong message. Dữ liệu bạn dán vào message được gửi y như đã viết. Ít nhất hãy rút gọn JSON. Với các bản ghi phẳng, CSV hoặc TSV bỏ được các key lặp lại: ít hơn 31 đến 41% token so với JSON rút gọn trong thử nghiệm của chúng tôi. Dữ liệu lồng nhau thì giữ JSON. Hãy kiểm tra model vẫn đọc đúng các cột.
Lịch sử. Mọi lượt trước đều được gửi lại. Thay 16 lượt cũ bằng bản tóm tắt ba dòng, và giữ nguyên văn bốn lượt gần nhất, đã cắt prompt Qwen từ 2.693 xuống 1.103 token. Bản tóm tắt bỏ đi những chi tiết người dùng có thể nhắc lại, và việc viết lại nó làm thay đổi phần đầu prompt, phá vỡ cache. Quản lý context cho agent chạy lâu đề cập khi nào nên nén.
Dấu tiếng Ả Rập. Phần lớn tiếng Ả Rập được viết không có nguyên âm ngắn. Nếu đầu vào của bạn có đầy đủ dấu nguyên âm, từ từ điển, sách giáo khoa hay nguồn tôn giáo, việc bỏ các dấu (U+064B đến U+0652) đã cắt đoạn văn của chúng tôi 59 đến 72%. Hãy giữ chúng khi tác vụ phụ thuộc vào chúng, như giảng dạy hay thơ ca. Chuẩn hóa văn bản tiếng Ả Rập đề cập các ký tự khác đáng chuẩn hóa, và token mỗi từ trong tiếng Ả Rập đề cập khoảng cách lớn hơn so với tiếng Anh.
Cache nằm ở đâu trong bức tranh này?
Cache không làm prompt ngắn lại. Nó làm phần lặp lại rẻ hơn. Hướng dẫn cache của OpenAI nói “the entire rendered prefix” (bản dịch: toàn bộ phần đầu đã render) phải khớp và khuyên đặt các chỉ dẫn ổn định lên trước. Trang giá của BroadNet mô tả đầu vào từ cache là “usually the repeated start of recent requests, such as a long system prompt” (bản dịch: thường là phần mở đầu lặp lại của các request gần đây, chẳng hạn một system prompt dài), không cần thiết lập gì, và tài liệu của nó báo cáo số lần trúng cache trong usage.prompt_tokens_details.cached_tokens.
Vậy thứ tự là: rút ngắn trước, rồi làm cho phần đầu đã rút ngắn ổn định. System prompt và tool đặt đầu tiên, giống hệt từng byte ở mọi lời gọi; lịch sử tiếp theo, chỉ nối thêm; message mới đặt cuối. Trên Qwen3.8 27B, đầu vào từ cache có giá $0.0435 mỗi 1M so với $0.175. Cấu trúc prompt cho cache có bố cục và một phép thử chứng minh phần đầu được tái sử dụng. Token từ cache vẫn tính vào cửa sổ context.
Làm sao đo prompt của chính bạn?
Hãy bắt đầu từ hóa đơn. Ghi log usage.prompt_tokens theo từng điểm gọi trong một ngày và tìm điểm lớn nhất. Sau đó so các phiên bản trên máy bằng script này, nó in số token trước và sau của hai file:
# pip install tokenizers tiktoken huggingface_hub
import json, sys
import tiktoken
from huggingface_hub import hf_hub_download
from tokenizers import Tokenizer
def hf(repo, rev):
return Tokenizer.from_file(hf_hub_download(repo, "tokenizer.json", revision=rev))
COUNTERS = {
"Qwen3.8 27B": hf("Qwen/Qwen3.8-27B", "37561816e66b5b9153b1b64c10968c18c1e6f4a0").encode,
"GPT o200k": tiktoken.get_encoding("o200k_base").encode,
}
def n(enc, text):
out = enc(text)
return len(out.ids if hasattr(out, "ids") else out)
def diff(before, after):
for name, enc in COUNTERS.items():
a, b = n(enc, before), n(enc, after)
print(f"{name:12} {a:6} -> {b:6} saved {a - b} ({100 * (a - b) / a:.0f}%)")
if __name__ == "__main__":
diff(open(sys.argv[1], encoding="utf-8").read(), open(sys.argv[2], encoding="utf-8").read())
Chạy nó trên hai system prompt của chúng tôi in ra:
Qwen3.8 27B 297 -> 95 saved 202 (68%)
GPT o200k 293 -> 86 saved 207 (71%)
Thêm repo của các model khác từ danh sách Nguồn để so cả bốn. Để kiểm tra nhanh trên trình duyệt, công cụ so token prompt so hai phiên bản cạnh nhau, và công cụ đếm token đếm một phiên bản. Sau khi triển khai, hãy xác nhận mức tiết kiệm trong usage.prompt_tokens, con số đã gồm cả template.
BroadNet Inference phù hợp ở đâu
BroadRouter là trang của BroadNet. BroadNet Inference tính token prompt theo giá đầu vào của từng model và đọc các phần đầu lặp lại từ cache theo giá cache ở những model có giá này, nên cả prompt ngắn hơn lẫn phần đầu ổn định đều giảm hóa đơn. Gemma 4 VL 26B có context 32.768 token, nơi việc rút gọn quan trọng cả để vừa context lẫn để giảm chi phí. Trên các gói DeepSeek V4.1 Flash không có bộ đếm token, nhưng context 1.048.576 token vẫn áp dụng, và prompt ngắn hơn vẫn trả lời sớm hơn. Prompt không được lưu giữ sau mỗi request.
