BroadRouter

Mengurangi token prompt: hasil terukur untuk system prompt, tool, data

Oleh tim BroadNet Inference · 7 menit baca · Dipublikasikan · Diperbarui

Ukur dulu: catat prompt_tokens per panggilan, temukan bagian terbesarnya, lalu bandingkan sebelum dan sesudah dengan tokenizer model. Di lima tokenizer, memangkas system prompt yang bertele-tele menghemat 68–71% dan CSV memakai 31–41% lebih sedikit token daripada JSON yang di-minify. Di tiga model, system prompt yang dipangkas dengan 3 tool singkat alih-alih 10 tool panjang memangkas seluruh permintaan yang dirender sekitar 65–71%.

Prompt yang lebih pendek lebih murah, menyisakan lebih banyak ruang context window untuk pekerjaan, dan biasanya mengembalikan token pertama lebih cepat. Tetapi “perpendek prompt-nya” adalah saran yang samar. Artikel ini mengukur pemangkasan yang umum pada satu prompt bot customer service yang realistis, dengan tokenizer asli dari empat model terbuka dan o200k_base milik OpenAI, sehingga Anda bisa melihat suntingan mana yang sepadan dengan waktu Anda.

Jika Anda menjalankan agen coding, anggaran token agen membahas loop tersebut. Artikel ini membahas prompt aplikasi: chatbot, classifier, dan job ekstraksi.

Bagaimana kami mengukurnya?

Semua angka di bawah adalah hitungan kami, dibuat pada 15 November 2026:

  • Tokenizer. File tokenizer.json resmi untuk DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B, dan Gemma 4 26B A4B milik Google, masing-masing pada revisi Hugging Face yang dikunci (lihat Sumber), dimuat dengan tokenizers 0.23.3 dari Hugging Face. Ditambah o200k_base dari tiktoken 0.14.0, sebagai pembanding dengan model GPT. Token khusus tidak ditambahkan.
  • Prompt yang dirender. Untuk DeepSeek, GLM, dan Qwen, kami juga merender permintaan lengkap melalui chat_template.jinja yang dipublikasikan setiap model (sandbox Jinja2), dengan system prompt, tool, riwayat, dan pertanyaan, lalu menghitung hasilnya. Ini mendekati apa yang ditokenisasi server, tetapi penyedia bisa memakai template berbeda, jadi jadikan usage.prompt_tokens dari API sebagai acuan akhir.
  • Teks. Bot customer service sintetis untuk perusahaan telekomunikasi fiktif: system prompt 261 kata, 10 tool, 8 contoh few-shot, 40 baris pesanan, riwayat 20 giliran, dan satu paragraf bahasa Arab 31 kata. Satu prompt hanyalah satu titik data. Penghematan Anda akan berbeda; metodenya tetap bisa dipakai.

Gemma 4 VL 26B milik BroadNet didasarkan pada model Google, jadi hitungannya merupakan perkiraan. Model lainnya memakai file milik model itu sendiri.

Pemangkasan mana yang paling menghemat token?

Teks mentah, sebelum → sesudah, dengan porsi yang dihemat:

Perubahan DeepSeek V4.1 Flash GLM 5.3 Qwen3.8 27B Gemma 4 GPT o200k
System prompt: 261 kata → 66 kata 295 → 88 (70%) 294 → 89 (70%) 297 → 95 (68%) 297 → 96 (68%) 293 → 86 (71%)
Few-shot: 8 contoh → 3 157 → 69 (56%) 157 → 69 (56%) 156 → 71 (54%) 156 → 71 (54%) 152 → 69 (55%)
40 baris: JSON berindentasi → JSON minify 2.446 → 1.606 (34%) 2.460 → 1.581 (36%) 3.180 → 1.980 (38%) 3.210 → 2.010 (37%) 2.446 → 1.567 (36%)
40 baris: JSON minify → CSV 1.606 → 948 (41%) 1.581 → 960 (39%) 1.980 → 1.359 (31%) 2.010 → 1.382 (31%) 1.567 → 946 (40%)
10 tool: deskripsi panjang → singkat 1.224 → 806 (34%) 1.214 → 797 (34%) 1.225 → 806 (34%) 1.252 → 827 (34%) 1.202 → 796 (34%)
10 tool panjang → 3 tool singkat 1.224 → 258 (79%) 1.214 → 257 (79%) 1.225 → 266 (78%) 1.252 → 276 (78%) 1.202 → 255 (79%)
Paragraf Arab: harakat lengkap → tanpa harakat 193 → 74 (62%) 267 → 78 (71%) 151 → 62 (59%) 180 → 64 (64%) 218 → 62 (72%)

Untuk prosa bahasa Inggris, persentasenya mirip di semua tokenizer, jadi pemangkasan yang membantu di satu model juga membantu di model lain. Dua baris mematahkan pola itu. Data pesanan memakan 23–46% lebih banyak token di Qwen dan Gemma dibanding DeepSeek dan GLM di setiap format, karena tokenizer keduanya memecah angka menjadi digit tunggal: 100200 adalah 6 token di Qwen dan 2 di DeepSeek. Selain itu, harakat Arab memukul sebagian tokenizer jauh lebih keras daripada yang lain.

Seperti apa satu permintaan utuh?

Teks mentah melewatkan chat template. Dirender melalui template milik setiap model, dengan pertanyaan pelanggan yang sama, ini hasil pengukuran prompt lengkapnya:

Permintaan DeepSeek V4.1 Flash GLM 5.3 Qwen3.8 27B
A. System prompt panjang + 10 tool panjang 1.677 1.535 1.797
B. System prompt dipangkas + 10 tool singkat 1.052 913 1.176
C. System prompt dipangkas + 3 tool singkat 574 443 636
D. System prompt dipangkas, tanpa tool 136 121 174
C + 20 giliran sebelumnya secara utuh 2.374 2.243 2.693
C + ringkasan 3 baris + 4 giliran terakhir 979 849 1.103

Beralih dari A ke C memangkas sekitar 65–71% dari setiap permintaan (64,6% di Qwen, 71,1% di GLM). Sebagian besar berasal dari tool. Dirender dengan system prompt yang panjang, 10 tool panjang menambah 1.334 token di DeepSeek, 1.209 di GLM, dan 1.421 di Qwen; 3 tool singkat di C menambah 322–462 di atas D. Skema tool calling ikut terbawa di setiap permintaan, dipakai model atau tidak.

Pada volume besar, ini menumpuk. Di Qwen3.8 27B, beralih dari A ke C menghemat 1.161 token per permintaan. Pada 100.000 permintaan per bulan, itu sekitar 116 juta token input, atau 116 × $0.175 per bulan dengan harga input standar.

Bagaimana memangkas system prompt tanpa merusaknya?

Prompt 261 kata dan 66 kata kami membawa tujuh aturan yang sama. Semua pemangkasannya sejenis:

  1. Hentikan basa-basi kepada model. “It is very important that you always remain polite and courteous at all times” (sangat penting bahwa Anda selalu sopan dan santun setiap saat) dihapus seluruhnya: baris peran sudah menyiratkannya.
  2. Satu aturan per baris. Butir-butir menggantikan kalimat “Please make sure that you always…” (pastikan Anda selalu…).
  3. Gabungkan yang duplikat. Tiga kalimat tentang bahasa menjadi “Reply in the customer’s language (Arabic or English), briefly.” (Balas dalam bahasa pelanggan, Arab atau Inggris, dengan singkat.)
  4. Hapus pengulangan perilaku default. “Remember to always be helpful!” (Ingat untuk selalu membantu!) tidak mengubah apa pun.

Lalu uji. Prompt yang lebih pendek tetapi kehilangan satu aturan akan merugikan lebih dari yang dihemat. Jalankan kedua versi pada 50–100 input nyata yang sama dan bandingkan, seperti di mengevaluasi LLM sebelum berganti model.

Berapa contoh few-shot yang Anda butuhkan?

Lebih sedikit daripada yang dibawa kebanyakan prompt. Setiap contoh few-shot dibayar di setiap panggilan. Pertahankan contoh yang memperbaiki kesalahan yang dibuat model tanpanya, misalnya contoh dialek untuk classifier bahasa Arab, dan buang yang sudah dijawab benar oleh model. Pemangkasan 8 → 3 kami menghemat 54–56% dari blok contoh. Cukup tidaknya 3 contoh untuk tugas Anda adalah soal akurasi, bukan soal token, jadi cek di set uji Anda.

Perlukah tool, data, dan riwayat dikirim dengan cara berbeda?

Tool. Kirim hanya tool yang bisa dipakai pada langkah saat ini. Pertanyaan soal tagihan membutuhkan get_account, get_bill, dan create_ticket, bukan order_esim. Persingkat deskripsi sampai sebatas yang dibutuhkan model untuk memilih dan mengisi tool. Indentasi tidak berpengaruh di sini: semua template yang kami render menyerialisasi ulang array tools dengan tojson, jadi array tools yang diformat rapi berbiaya sama dengan yang di-minify.

Data di dalam pesan. Data yang Anda tempel ke dalam pesan dikirim apa adanya. Minimal, minify JSON-nya. Untuk record datar, CSV atau TSV membuang key yang berulang: 31–41% lebih sedikit token daripada JSON yang di-minify dalam pengujian kami. Data bersarang tetap JSON. Pastikan model masih membaca kolomnya dengan benar.

Riwayat. Setiap giliran sebelumnya dikirim ulang. Mengganti 16 giliran lama dengan ringkasan tiga baris, dan mempertahankan empat giliran terakhir apa adanya, memangkas prompt Qwen dari 2.693 menjadi 1.103 token. Ringkasan membuang detail yang mungkin dirujuk ulang oleh pengguna, dan menulis ulang ringkasan mengubah prefiks, yang merusak caching. Manajemen konteks agen yang berjalan lama membahas kapan sebaiknya melakukan kompaksi.

Harakat Arab. Sebagian besar teks Arab ditulis tanpa vokal pendek. Jika input Anda berharakat lengkap, dari kamus, buku pelajaran, atau sumber keagamaan, menghapus tanda-tanda itu (U+064B sampai U+0652) memangkas paragraf kami 59–72%. Pertahankan jika tugasnya bergantung pada harakat, seperti pengajaran atau puisi. Normalisasi teks Arab membahas karakter lain yang layak dinormalisasi, dan token per kata dalam bahasa Arab membahas selisih yang lebih luas dengan bahasa Inggris.

Di mana posisi caching?

Caching tidak menyusutkan prompt. Caching membuat bagian yang berulang lebih murah. Panduan caching OpenAI menyebut “the entire rendered prefix” (seluruh prefiks yang dirender) harus cocok dan menyarankan instruksi yang stabil ditaruh di awal. Halaman harga BroadNet menggambarkan input cache sebagai “usually the repeated start of recent requests, such as a long system prompt” (Terjemahan BroadRouter: biasanya bagian awal yang berulang dari permintaan terbaru, seperti system prompt yang panjang), tanpa perlu setup apa pun, dan dokumentasinya melaporkan hit di usage.prompt_tokens_details.cached_tokens.

Jadi urutannya: perpendek dulu, lalu buat prefiks yang sudah diperpendek itu stabil. System prompt dan tool di awal, identik byte demi byte di setiap panggilan; riwayat berikutnya, hanya ditambah di akhir; pesan baru paling akhir. Di Qwen3.8 27B, input cache berharga $0.0435 per 1 juta dibanding $0.175. Struktur prompt untuk caching berisi tata letaknya dan sebuah tes yang membuktikan prefiksnya dipakai ulang. Token cache tetap dihitung dalam context window.

Bagaimana mengukur prompt Anda sendiri?

Mulai dari tagihan. Catat usage.prompt_tokens per titik panggilan selama sehari dan temukan yang terbesar. Lalu bandingkan versi secara lokal dengan skrip ini, yang mencetak hitungan sebelum dan sesudah untuk dua file:

# pip install tokenizers tiktoken huggingface_hub
import json, sys
import tiktoken
from huggingface_hub import hf_hub_download
from tokenizers import Tokenizer

def hf(repo, rev):
    return Tokenizer.from_file(hf_hub_download(repo, "tokenizer.json", revision=rev))

COUNTERS = {
    "Qwen3.8 27B": hf("Qwen/Qwen3.8-27B", "37561816e66b5b9153b1b64c10968c18c1e6f4a0").encode,
    "GPT o200k": tiktoken.get_encoding("o200k_base").encode,
}

def n(enc, text):
    out = enc(text)
    return len(out.ids if hasattr(out, "ids") else out)

def diff(before, after):
    for name, enc in COUNTERS.items():
        a, b = n(enc, before), n(enc, after)
        print(f"{name:12} {a:6} -> {b:6}  saved {a - b} ({100 * (a - b) / a:.0f}%)")

if __name__ == "__main__":
    diff(open(sys.argv[1], encoding="utf-8").read(), open(sys.argv[2], encoding="utf-8").read())

Menjalankannya pada dua system prompt kami menghasilkan:

Qwen3.8 27B     297 ->     95  saved 202 (68%)
GPT o200k       293 ->     86  saved 207 (71%)

Tambahkan repo model lain dari daftar Sumber untuk membandingkan keempatnya. Untuk pengecekan cepat di browser, prompt token diff membandingkan dua versi berdampingan, dan penghitung token menghitung satu versi. Setelah deploy, konfirmasikan penghematannya di usage.prompt_tokens, yang sudah mencakup template.

Posisi BroadNet Inference

BroadRouter adalah situs BroadNet. BroadNet Inference menagih token prompt dengan harga input masing-masing model dan membaca prefiks yang berulang dari cache dengan harga input cache jika model tersebut memilikinya, sehingga prompt yang lebih pendek maupun prefiks yang stabil sama-sama menurunkan tagihan. Gemma 4 VL 26B punya konteks 32.768 token, sehingga pemangkasan penting untuk muat tidaknya prompt, bukan hanya untuk biaya. Di paket DeepSeek V4.1 Flash tidak ada meteran token, tetapi konteks 1.048.576 token tetap berlaku, dan prompt yang lebih pendek tetap lebih cepat dibalas. Prompt tidak disimpan setelah setiap permintaan.

Pertanyaan umum

Bagaimana cara mengurangi jumlah token di prompt saya?

Ukur dulu: catat usage.prompt_tokens dan temukan bagian terbesarnya. Lalu, urut dari yang menurut pengukuran kami paling menghemat: kirim hanya tool yang dibutuhkan langkah itu, persingkat kata-kata di tool dan system prompt, kirim tabel sebagai CSV bukan JSON, kurangi contoh few-shot menjadi yang benar-benar mengubah hasil, dan ringkas giliran chat lama.

Apakah JSON yang diformat rapi (pretty-print) memakai lebih banyak token?

Ya. Dalam pengujian kami, me-minify 40 baris JSON berindentasi menghemat 34–38% token, tergantung tokenizer-nya, dan mengirimnya sebagai CSV menghemat 57–61%. Sebaliknya, JSON berindentasi memakan 52–61% lebih banyak token daripada JSON yang di-minify dan 132–159% lebih banyak daripada CSV. Skema tool adalah pengecualian: chat template menyerialisasinya ulang, jadi indentasi di array tools Anda tidak sampai ke model.

Berapa token yang dipakai definisi tool?

Tergantung kata-katanya dan template model. 10 tool kami dengan deskripsi panjang menambah sekitar 1.200–1.400 token ke prompt yang dirender di DeepSeek V4.1 Flash, GLM 5.3, dan Qwen3.8 27B. Tiga tool dengan deskripsi singkat menambah sekitar 320–460.

Apakah harakat Arab menambah jumlah token?

Sangat menambah. Satu paragraf bahasa Arab standar (MSA) berisi 31 kata memakan 62–78 token tanpa harakat dan 151–267 token dengan harakat lengkap, di lima tokenizer. Sebagian besar teks Arab ditulis tanpa harakat, jadi hapus dari input kecuali tugasnya, seperti puisi atau pengajaran, membutuhkannya.

Apakah prompt caching lebih baik daripada memperpendek prompt?

Keduanya saling melengkapi. Caching membuat prefiks yang berulang lebih murah, tetapi prefiks itu tetap dihitung dalam context window dan tetap ada harganya. Perpendek dulu, lalu jaga prefiks yang sudah diperpendek tetap identik byte demi byte di awal setiap permintaan agar bisa dibaca dari cache.

Kenapa jumlah token saya berbeda dari prompt_tokens API?

API menghitung prompt yang dirender: pesan Anda yang dibungkus chat template, ditambah skema tool dalam format template itu sendiri. Tokenizer yang dijalankan pada teks mentah Anda melewatkan itu. Pakai tokenizer untuk membandingkan versi, dan usage.prompt_tokens untuk tagihan.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity