---
title: "Kira token sebelum menghantar: anggaran, margin, bahasa"
description: "Anggarkan token prompt mengikut bahasa dan model sebelum memanggil API LLM: mengapa tokenizer berbeza, ukuran dalam lima bahasa, dan margin max_tokens yang selamat."
url: https://broadrouter.com/ms/blog/count-tokens-before-sending/
lang: ms
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan daripada bahasa Inggeris dengan bantuan AI. [Baca versi asal dalam bahasa Inggeris](https://broadrouter.com/blog/count-tokens-before-sending/) (dikemas kini 2026-11-16).

# Cara mengira token sebelum menghantar permintaan LLM

Oleh pasukan BroadNet Inference · 5 minit bacaan · Diterbitkan 2026-11-14 · Dikemas kini 2026-11-16

Kira token dengan tokenizer model yang anda panggil jika ia awam; jika tidak, kalibrasi nisbah aksara setiap token daripada medan usage permintaan sebenar, mengikut bahasa dan jenis kandungan. Tambah margin 10 hingga 20 peratus, kemudian pastikan token prompt ditambah max\_tokens muat dalam tetingkap konteks, dengan ruang untuk token penaakulan pada model yang berfikir.

## Perkara utama

-   Tokenizer berbeza mengikut model. Dalam ujian kami, ayat Arab yang sama berukuran 102 token dengan cl100k\_base, 46 dengan o200k\_base dan 48 hingga 58 pada tokenizer model terbuka.
-   Prosa Inggeris berjalan pada kira-kira 4.5 aksara setiap token pada setiap tokenizer dalam ujian ringkas ini; kod, JSON dan kebanyakan tulisan bukan Latin menggunakan lebih banyak token setiap aksara.
-   Apabila tokenizer model tidak awam, buat kalibrasi: hantar sampel, baca usage.prompt\_tokens, dan simpan nisbah mengikut bahasa dan jenis kandungan.
-   Tetingkap konteks merangkumi prompt dan output. Bajetkan prompt + max\_tokens + margin, jangan sekali-kali prompt sahaja.
-   Pada model penaakulan, proses berfikir dikira dalam max\_tokens; BroadNet mengesyorkan sekurang-kurangnya 1,000 atau reasoning\_effort low.

**Dalam halaman ini**

1.  Mengapakah kiraan token berbeza antara model?
2.  Bagaimanakah cara mengira token dengan tepat?
3.  Bagaimanakah cara menganggar token apabila tokenizer tidak awam?
4.  Apakah margin yang patut digunakan untuk max\_tokens dan konteks?
5.  Apakah kesilapan biasa dalam anggaran token?
6.  Di manakah BroadNet Inference sesuai

Anda memerlukan kiraan [token](https://broadrouter.com/ms/glossary/token/) sebelum menghantar permintaan atas tiga sebab: untuk kekal dalam [tetingkap konteks](https://broadrouter.com/ms/glossary/context-window/), untuk memilih [max\_tokens](https://broadrouter.com/ms/glossary/max-tokens/) yang munasabah, dan untuk menganggar kos. Kiraan tepat hanya datang daripada tokenizer model itu sendiri. Anggaran yang baik datang daripada kalibrasi. Artikel ini menunjukkan kedua-duanya, dengan ukuran sebenar.

## Mengapakah kiraan token berbeza antara model?

Tokenizer memecahkan teks kepada kepingan daripada perbendaharaan kata yang tetap. Setiap keluarga model melatih tokenizer sendiri. Perbendaharaan kata yang lebih besar, atau yang dilatih dengan lebih banyak teks sesuatu bahasa, menghasilkan lebih sedikit token untuk bahasa itu. Jadi soalan “berapa token prompt ini” mempunyai jawapan berbeza bagi setiap model.

Kami mengukur mesej khidmat pelanggan pendek yang sama, diterjemah ke dalam empat bahasa, serta satu fungsi Python kecil dan satu objek JSON invois. Kiraan OpenAI datang daripada [tiktoken](https://github.com/openai/tiktoken) (`cl100k_base`, era GPT-4, dan `o200k_base`, era GPT-4o). Kiraan model terbuka datang daripada fail tokenizer yang diterbitkan oleh setiap keluarga di Hugging Face, dikira tanpa templat chat, pada 14 November 2026.

| Teks (makna sama) | Aksara | cl100k\_base | o200k\_base | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B | Gemma 4 |
| --- | --- | --- | --- | --- | --- | --- | --- |
| Inggeris, 31 perkataan | 173 | 37 | 37 | 37 | 38 | 39 | 39 |
| Sepanyol | 160 | 47 | 40 | 50 | 45 | 43 | 42 |
| Arab | 142 | 102 | 46 | 55 | 58 | 48 | 49 |
| Cina | 54 | 51 | 37 | 34 | 35 | 36 | 38 |
| Fungsi Python | 94 | 33 | 33 | 35 | 33 | 35 | 38 |
| JSON invois | 140 | 59 | 60 | 63 | 60 | 72 | 72 |

Satu sampel setiap baris, jadi anggap angka ini sebagai ilustrasi, bukan penanda aras. Namun tiga pengajaran tetap benar. Generasi tokenizer penting: teks Arab berkurang lebih separuh daripada `cl100k_base` kepada `o200k_base`. Model terbuka juga berbeza antara satu sama lain: teks Arab yang sama berjulat 48 hingga 58 token, dan JSON 60 hingga 72. Dan kandungan berstruktur padat dengan token di mana-mana: JSON berjalan pada kira-kira 2 aksara setiap token pada setiap tokenizer.

Anda boleh mengulanginya pada teks anda sendiri dengan [pengira token](https://broadrouter.com/tools/token-counter/) percuma, atau pengira bagi setiap keluarga untuk [DeepSeek](https://broadrouter.com/tools/deepseek-token-counter/), [Qwen](https://broadrouter.com/tools/qwen-token-counter/) dan [GPT](https://broadrouter.com/tools/gpt-token-counter/). Untuk melihat penjimatan daripada suntingan prompt, bandingkan kedua-dua versi dalam [prompt token diff](https://broadrouter.com/tools/prompt-token-diff/). Sebab bahasa Arab khususnya memerlukan lebih banyak token, diukur pada teks yang lebih panjang, dibincangkan dalam [token setiap perkataan dalam bahasa Arab vs Inggeris](https://broadrouter.com/ms/blog/tokens-per-word-arabic-english/).

## Bagaimanakah cara mengira token dengan tepat?

Jika tokenizer model itu awam, muatkannya dan kira secara setempat. Untuk model OpenAI:

```python
import tiktoken
enc = tiktoken.encoding_for_model("gpt-4o")
n = len(enc.encode(text))
```

Untuk keluarga open-weight, tokenizer biasanya disertakan bersama model di Hugging Face dan dimuatkan dengan `AutoTokenizer.from_pretrained(...)`. Dua kaveat: templat chat menambah token untuk peranan dan pemisah, dan versi yang digunakan oleh penyedia API mungkin berbeza daripada fail awam. Rujukan API BroadNet tidak mendokumentasikan endpoint pengiraan token atau tokenizer bagi setiap model, jadi tokenizer awam memberi anggaran yang hampir dan angka tepatnya ialah `usage.prompt_tokens` selepas panggilan.

## Bagaimanakah cara menganggar token apabila tokenizer tidak awam?

Buat kalibrasi sekali bagi setiap model, kemudian anggarkan secara setempat:

```python
import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

def prompt_tokens(model, text):
    r = client.chat.completions.create(
        model=model, max_tokens=1000,  # room for reasoning on thinking models
        messages=[{"role": "user", "content": text}],
    )
    return r.usage.prompt_tokens

def measure(model, samples: dict[str, list[str]]):
    base = prompt_tokens(model, "hi")  # chat-template overhead plus one short word
    ratios = {}
    for kind, texts in samples.items():
        chars = toks = 0
        for t in texts:
            chars += len(t)
            toks += prompt_tokens(model, t) - base
        ratios[kind] = chars / toks
    return ratios  # e.g. {"english": 4.1, "arabic": 2.9, "json": 2.3}

def estimate(text, kind, ratios, overhead=10):
    return int(len(text) / ratios[kind]) + overhead
```

Gunakan 20 atau lebih sampel sebenar bagi setiap jenis kandungan (prompt sebenar anda, bukan lorem ipsum). Permintaan asas satu perkataan membuang overhed tetap templat chat, yang ditambah semula oleh `estimate` sebagai `overhead`; tetapkannya kepada asas yang anda ukur. Buat kalibrasi pada model termurah BroadNet hanya jika itulah model yang akan anda panggil: nisbah [Gemma 4 VL 26B](https://broadrouter.com/ms/models/gemma-4-vl-26b/) tidak boleh dipindahkan kepada [DeepSeek V4.1 Flash](https://broadrouter.com/ms/models/deepseek-v4.1-flash/). Imej juga dibilkan sebagai token input, dan imej yang lebih besar menggunakan lebih banyak, jadi kalibrasikan imej secara berasingan mengikut resolusi.

## Apakah margin yang patut digunakan untuk max\_tokens dan konteks?

Tetingkap merangkumi prompt **dan** output. Pada model penaakulan, output termasuk proses berfikir yang tersembunyi, dilaporkan sebagai [token penaakulan](https://broadrouter.com/ms/glossary/reasoning-tokens/). Bajetkan seperti ini:

1.  **Anggaran prompt** = kiraan terkalibrasi × 1.15 (margin keselamatan 15 peratus).
2.  **Bajet jawapan** = jawapan terpanjang yang anda terima.
3.  **Bajet penaakulan** = untuk model yang berfikir, sekurang-kurangnya 1,000 token; dokumentasi BroadNet mengesyorkan sekurang-kurangnya 1,000 atau `reasoning_effort: "low"`, kerana had yang kecil boleh memulangkan jawapan kosong.
4.  **max\_tokens** = bajet jawapan + bajet penaakulan.
5.  **Semak**: anggaran prompt + max\_tokens ≤ tetingkap konteks. Jika tidak, potong prompt, bukan jawapan.

Tetingkap konteks di BroadNet Inference, daripada fail harga yang diterbitkan:

| Model | Tetingkap konteks | Siling prompt praktikal dengan output 16K dan margin 15% |
| --- | --- | --- |
| DeepSeek V4.1 Flash | 1,048,576 | kira-kira 897,000 |
| [GLM 5.3](https://broadrouter.com/ms/models/glm-5.3/) | 1,048,576 | kira-kira 897,000 |
| [Qwen3.8 27B](https://broadrouter.com/ms/models/qwen3.8-27b/) | 262,144 | kira-kira 213,000 |
| Gemma 4 VL 26B | 32,768 | kira-kira 14,000 |

Lajur siling ialah (tetingkap − 16,384) ÷ 1.15, dibundarkan ke bawah. Gantikan 16,384 dengan max\_tokens anda sendiri.

## Apakah kesilapan biasa dalam anggaran token?

-   **Mengira perkataan dan bukan token.** Peraturan 0.75 perkataan setiap token adalah untuk bahasa Inggeris. Sampel Arab kami yang 29 perkataan ialah 46 hingga 102 token bergantung pada tokenizer.
-   **Terlupa tools dan system prompt.** Skema tool ialah JSON, yang padat dengan token. Kira ia sebagai sebahagian daripada prompt.
-   **Menganggap pemotongan senyap.** Sesetengah alat membuang mesej lama tanpa memberitahu anda. BroadNet menyatakan ia tidak memangkas konteks anda, jadi semak saiznya sebelum menghantar dan bukannya bergantung pada pelayan untuk memotongnya. [Kalkulator tetingkap konteks](https://broadrouter.com/tools/context-window-calculator/) membuat semakan ini untuk anda.
-   **Mengabaikan pertambahan sejarah.** Dalam chat atau gelung ejen, prompt bertambah setiap giliran. Semak semula bajet pada setiap panggilan, bukan sekali bagi setiap sesi. Sejarah yang stabil juga lebih mudah dicache; lihat [struktur prompt untuk cache](https://broadrouter.com/ms/blog/prompt-structure-for-caching/).

Jika anda bekerja dalam bahasa Arab, tokenizer ialah satu lagi sebab untuk menguji model pada teks anda sendiri; [memilih LLM untuk bahasa Arab](https://broadrouter.com/ms/blog/choosing-an-llm-for-arabic/) merangkumi selebihnya. Untuk menukar kiraan token kepada bil bulanan, lihat [cara menganggar kos API LLM sebelum pelancaran](https://broadrouter.com/ms/blog/estimate-llm-api-cost-before-launch/).

## Di manakah BroadNet Inference sesuai

BroadNet Inference memulangkan `prompt_tokens`, `completion_tokens` dan, apabila model melaporkannya, kiraan token cache dan penaakulan dalam setiap respons, iaitu semua yang anda perlukan untuk kalibrasi. Ia tidak menerbitkan endpoint pengiraan atau tokenizer bagi setiap model, jadi kiraan sebelum menghantar ialah anggaran. Kerja konteks panjang pada model 1M token dibincangkan dalam [panduan tetingkap konteks](https://broadrouter.com/ms/blog/million-token-context-window-guide/), dan harga setiap 1M token ada di [halaman harga](https://broadrouter.com/ms/pricing/).

Alat percuma untuk topik ini (Bahasa Inggeris)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Alatan percuma (Bahasa Inggeris)](https://broadrouter.com/tools/)

## Istilah dalam artikel ini

[Token](https://broadrouter.com/ms/glossary/token/)

Token ialah unit teks yang dibaca dan ditulis oleh model bahasa: satu perkataan, sebahagian perkataan, tanda baca atau jujukan bait yang dihasilkan oleh tokenizer model itu. API LLM mengira, mengehadkan dan biasanya mengebil penggunaan dalam token.

[Tokenizer (pengtoken)](https://broadrouter.com/ms/glossary/tokenizer/)

Tokenizer ialah komponen yang menukar teks kepada jujukan ID token integer yang dibaca oleh model bahasa, dan menukar ID yang dijana kembali kepada teks. Setiap model mempunyai tokenizer sendiri, jadi teks yang sama boleh menghasilkan bilangan token yang berbeza pada model yang berbeza.

[Tetingkap konteks (context window)](https://broadrouter.com/ms/glossary/context-window/)

Tetingkap konteks ialah bilangan maksimum token yang boleh dikendalikan oleh model bahasa dalam satu permintaan. Ia meliputi prompt, sejarah perbualan, definisi alatan, imej dan output yang dijana, termasuk token penaakulan. Apa-apa yang tidak muat mesti dipotong, diringkaskan atau dipecahkan kepada beberapa permintaan.

[Tool calling (panggilan alatan)](https://broadrouter.com/ms/glossary/tool-calling/)

Tool calling, juga dipanggil function calling, ialah ciri API LLM di mana model memulangkan permintaan berstruktur untuk menjalankan fungsi yang ditakrifkan oleh pembangun, bersama argumen JSON. Aplikasi menjalankan fungsi itu dan menghantar hasilnya kembali; model sendiri tidak pernah menjalankan kod.

[max\_tokens](https://broadrouter.com/ms/glossary/max-tokens/)

max\_tokens ialah parameter API LLM yang menetapkan bilangan maksimum token yang boleh dijana oleh model dalam satu respons. Apabila had itu dicapai, penjanaan berhenti dan respons ditandakan sebagai terpotong, contohnya dengan finish\_reason ditetapkan kepada "length".

[Model open-weight (model pemberat terbuka)](https://broadrouter.com/ms/glossary/open-weight-model/)

Model open-weight ialah model pembelajaran mesin yang pemberat terlatihnya diterbitkan untuk dimuat turun dan dijalankan oleh sesiapa sahaja, biasanya di bawah lesen bersyarat. Ia berbeza daripada AI sumber terbuka sepenuhnya, yang turut mengeluarkan kod latihan dan maklumat terperinci tentang data latihan supaya orang lain boleh mengkaji dan menghasilkan semula model itu.

[Templat chat (chat template)](https://broadrouter.com/ms/glossary/chat-template/)

Templat chat ialah peraturan pemformatan, biasanya ditulis dalam Jinja dan disertakan bersama tokenizer model, yang menukar senarai mesej chat berserta peranannya kepada satu jujukan token yang dijangka oleh model, termasuk token kawalan khasnya. Templat yang salah boleh merosotkan jawapan model dengan teruk.

[Prompt sistem (system prompt)](https://broadrouter.com/ms/glossary/system-prompt/)

Prompt sistem ialah teks arahan yang dihantar oleh aplikasi kepada model bahasa sebelum perbualan, biasanya sebagai mesej dengan peranan system atau developer. Ia menetapkan peranan, peraturan, nada dan format output model, dan model sepatutnya mengutamakannya berbanding mesej pengguna yang bercanggah.

## Soalan lazim

### Berapakah bilangan token bagi satu perkataan?

Dalam set data tokenizer BroadRouter, yang menggabungkan lima tokenizer (tokenizer empat model chat BroadNet dan o200k\_base OpenAI; jadual contoh dalam artikel ini menambah cl100k\_base), 1,000 perkataan Inggeris ialah kira-kira 1,290 token, atau kira-kira 1.29 token setiap perkataan. Panduan umum, 0.75 perkataan setiap token, hampir tepat untuk prosa Inggeris. Bahasa Arab, tulisan bukan Latin lain dan kod menggunakan lebih banyak token setiap perkataan. Ukur teks anda sendiri dengan model yang anda panggil.

### Bolehkah saya menggunakan tiktoken untuk mengira token DeepSeek, Qwen atau Gemma?

Hanya sebagai anggaran kasar. tiktoken melaksanakan pengekodan OpenAI. Keluarga model lain mempunyai tokenizer sendiri, selalunya di Hugging Face, dan kiraannya berbeza. Buat kalibrasi berdasarkan medan usage.

### Adakah alat percuma untuk mengira token DeepSeek, Qwen, GLM atau Gemma?

Ya. Pengira token percuma BroadRouter menjalankan tokenizer yang diterbitkan bagi keluarga model ini dalam pelayar anda, jadi teks tidak meninggalkan mesin anda. Anggap kiraan itu sebagai anggaran apa yang akan dilaporkan oleh API, kerana templat chat menambah beberapa token.

### Apakah yang berlaku jika prompt saya lebih panjang daripada tetingkap konteks?

Kebanyakan API memulangkan ralat. Sesetengah alat memangkas mesej lama secara senyap. BroadNet tidak memangkas konteks anda, jadi semak prompt ditambah max\_tokens berbanding tetingkap sebelum menghantar.

### Berapa banyak margin yang patut saya tinggalkan untuk max\_tokens?

Anggarkan jawapan terpanjang yang anda jangka, tambah bajet penaakulan untuk model yang berfikir, dan biarkan 10 hingga 20 peratus tetingkap kosong untuk ralat anggaran.

## Teruskan membaca

-   [Token setiap perkataan Arab vs Inggeris: mengapa Arab lebih mahal](https://broadrouter.com/ms/blog/tokens-per-word-arabic-english/)
-   [Bila tetingkap konteks 1M token berbaloi (dan bila tidak)](https://broadrouter.com/ms/blog/million-token-context-window-guide/)
-   [Cara menganggar kos API LLM sebelum melancarkan ciri baharu](https://broadrouter.com/ms/blog/estimate-llm-api-cost-before-launch/)
-   [Cara menyusun prompt supaya prefix di-cache](https://broadrouter.com/ms/blog/prompt-structure-for-caching/)
-   [Kurangkan token prompt: penjimatan terukur untuk system prompt, tools](https://broadrouter.com/ms/blog/reduce-prompt-tokens/)
-   [Perkakasan GPU dan pendekatan penyajian BroadNet, menurut BroadNet](https://broadrouter.com/ms/blog/broadnet-gpu-fleet-and-serving/)
-   [Cache respons API LLM untuk jimat kos: cache padanan tepat Python](https://broadrouter.com/ms/blog/cache-llm-responses-cut-cost/)
-   [Panduan: Mengapa model penaakulan memulangkan jawapan kosong](https://broadrouter.com/ms/guides/reasoning-tokens-empty-response/)
-   [Panduan: Cara guna OpenAI Python SDK dengan BroadNet Inference](https://broadrouter.com/ms/guides/openai-python-sdk/)

Cuba dengan beban kerja sebenar anda. Akaun baharu bermula dengan kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM dan Qwen3.8 memerlukan tambah nilai.

[Mulakan](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-blog-count-tokens-before-sending&utm_content=page-cta) ·

**Sumber**

-   [README tiktoken, pengekodan dan kira-kira 4 bait setiap token (disemak 2026-11-14)](https://github.com/openai/tiktoken)
-   [Rujukan API BroadNet Inference, max\_tokens dan penaakulan (disemak 2026-11-14) (Bahasa Inggeris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-blog-count-tokens-before-sending&utm_content=sources)
-   [Harga dan panjang konteks BroadNet Inference yang boleh dibaca mesin (pricing.json, disemak 2026-11-14) (Bahasa Inggeris)](https://inference.broadnet.ai/pricing.json?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-blog-count-tokens-before-sending&utm_content=sources)
-   [Hugging Face Transformers, dokumentasi tokenizer (disemak 2026-11-14)](https://huggingface.co/docs/transformers/main_classes/tokenizer)
