---
title: "Bilangin ang token bago mag-send: tantiya, margin, wika"
description: "Tantiyahin ang prompt token kada wika at model bago tawagin ang LLM API: bakit magkaiba ang tokenizer, sukat sa limang wika, at ligtas na margin sa max_tokens."
url: https://broadrouter.com/fil/blog/count-tokens-before-sending/
lang: fil
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Isinalin mula sa Ingles sa tulong ng AI. [Basahin ang orihinal sa Ingles](https://broadrouter.com/blog/count-tokens-before-sending/) (na-update noong 2026-11-16).

# Paano bilangin ang token bago magpadala ng LLM request

Ng BroadNet Inference team · 5 minutong basa · Nailathala 2026-11-14 · Na-update 2026-11-16

Bilangin ang token gamit ang tokenizer ng model na tinatawag mo kung public ito; kung hindi, mag-calibrate ng ratio ng character kada token mula sa usage field ng totoong request, kada wika at uri ng content. Magdagdag ng 10 hanggang 20 porsiyentong margin, saka tiyaking kasya sa context window ang prompt token kasama ang max\_tokens, na may puwang para sa reasoning token ng mga thinking model.

## Mga pangunahing punto

-   Magkakaiba ang tokenizer kada model. Sa test namin, 102 token ang iisang Arabic na pangungusap sa cl100k\_base, 46 sa o200k\_base, at 48 hanggang 58 sa mga tokenizer ng open model.
-   Mga 4.5 character kada token ang English na prose sa bawat tokenizer sa maikling test na ito; mas maraming token kada character ang code, JSON at karamihan ng non-Latin na script.
-   Kapag hindi public ang tokenizer ng model, mag-calibrate: magpadala ng mga sample, basahin ang usage.prompt\_tokens, at mag-imbak ng ratio kada wika at uri ng content.
-   Sakop ng context window ang prompt at output. Mag-budget ng prompt + max\_tokens + margin, hindi kailanman prompt lang.
-   Sa mga reasoning model, kasama sa max\_tokens ang pag-iisip; inirerekomenda ng BroadNet ang hindi bababa sa 1,000 o reasoning\_effort low.

**Sa page na ito**

1.  Bakit magkakaiba ang bilang ng token sa bawat model?
2.  Paano bilangin nang eksakto ang token?
3.  Paano tantiyahin ang token kapag hindi public ang tokenizer?
4.  Anong margin ang dapat gamitin para sa max\_tokens at context?
5.  Ano ang karaniwang nagkakamali sa tantiya ng token?
6.  Saan bagay ang BroadNet Inference

Tatlo ang dahilan kung bakit kailangan mo ng bilang ng [token](https://broadrouter.com/fil/glossary/token/) bago ka magpadala ng request: para manatili sa loob ng [context window](https://broadrouter.com/fil/glossary/context-window/), para pumili ng makatwirang [max\_tokens](https://broadrouter.com/fil/glossary/max-tokens/), at para tantiyahin ang gastos. Sa sariling tokenizer lang ng model nanggagaling ang eksaktong bilang. Sa calibration naman nanggagaling ang magagandang tantiya. Ipinapakita ng post na ito ang dalawa, gamit ang totoong sukat.

## Bakit magkakaiba ang bilang ng token sa bawat model?

Hinahati ng tokenizer ang text sa mga piraso mula sa isang nakapirming vocabulary. Kanya-kanyang tokenizer ang tine-train ng bawat model family. Ang mas malaking vocabulary, o isang tine-train sa mas maraming text ng isang wika, ay gumagawa ng mas kaunting token para sa wikang iyon. Kaya iba-iba ang sagot sa “ilang token ang prompt na ito” para sa bawat model.

Sinukat namin ang iisang maikling message sa customer service, isinalin sa apat na wika, kasama ang isang maliit na Python function at isang invoice na JSON object. Galing sa [tiktoken](https://github.com/openai/tiktoken) ang bilang ng OpenAI (`cl100k_base`, panahon ng GPT-4, at `o200k_base`, panahon ng GPT-4o). Galing naman ang bilang ng mga open model sa mga tokenizer file na inilalathala ng bawat family sa Hugging Face, binilang nang walang chat template, noong Nobyembre 14, 2026.

| Text (parehong kahulugan) | Character | cl100k\_base | o200k\_base | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B | Gemma 4 |
| --- | --- | --- | --- | --- | --- | --- | --- |
| English, 31 salita | 173 | 37 | 37 | 37 | 38 | 39 | 39 |
| Spanish | 160 | 47 | 40 | 50 | 45 | 43 | 42 |
| Arabic | 142 | 102 | 46 | 55 | 58 | 48 | 49 |
| Chinese | 54 | 51 | 37 | 34 | 35 | 36 | 38 |
| Python function | 94 | 33 | 33 | 35 | 33 | 35 | 38 |
| Invoice na JSON | 140 | 59 | 60 | 63 | 60 | 72 | 72 |

Isang sample lang kada row, kaya ituring ang mga numero bilang halimbawa, hindi benchmark. Pero may tatlong aral na totoo pa rin. Mahalaga ang henerasyon ng tokenizer: lumiit nang higit kalahati ang Arabic na text mula `cl100k_base` papuntang `o200k_base`. Magkakaiba rin ang mga open model: mula 48 hanggang 58 token ang parehong Arabic na text, at mula 60 hanggang 72 ang JSON. At siksik sa token ang structured content kahit saan: mga 2 character kada token ang JSON sa bawat tokenizer.

Puwede mo itong ulitin sa sarili mong text gamit ang libreng [token counter](https://broadrouter.com/tools/token-counter/), o ang mga counter kada family para sa [DeepSeek](https://broadrouter.com/tools/deepseek-token-counter/), [Qwen](https://broadrouter.com/tools/qwen-token-counter/) at [GPT](https://broadrouter.com/tools/gpt-token-counter/). Para makita kung magkano ang natitipid ng isang edit sa prompt, ihambing ang dalawang bersyon sa [prompt token diff](https://broadrouter.com/tools/prompt-token-diff/). Kung bakit mas maraming token ang Arabic, sinukat sa mas mahahabang text, ay nasa [token kada salita sa Arabic vs English](https://broadrouter.com/fil/blog/tokens-per-word-arabic-english/).

## Paano bilangin nang eksakto ang token?

Kung public ang tokenizer ng model, i-load ito at magbilang nang lokal. Para sa mga model ng OpenAI:

```python
import tiktoken
enc = tiktoken.encoding_for_model("gpt-4o")
n = len(enc.encode(text))
```

Para sa mga open-weight na family, kadalasang kasama ng model sa Hugging Face ang tokenizer at naglo-load ito gamit ang `AutoTokenizer.from_pretrained(...)`. Dalawang paalala: nagdadagdag ng token ang chat template para sa mga role at separator, at puwedeng iba ang naka-deploy na bersyon ng API provider sa mga public na file. Walang dokumentadong endpoint sa pagbilang ng token o tokenizer kada model ang API reference ng BroadNet, kaya malapit na tantiya ang ibinibigay ng public na tokenizer at ang eksaktong numero ay ang `usage.prompt_tokens` pagkatapos ng call.

## Paano tantiyahin ang token kapag hindi public ang tokenizer?

Mag-calibrate nang isang beses kada model, saka magtantiya nang lokal:

```python
import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

def prompt_tokens(model, text):
    r = client.chat.completions.create(
        model=model, max_tokens=1000,  # room for reasoning on thinking models
        messages=[{"role": "user", "content": text}],
    )
    return r.usage.prompt_tokens

def measure(model, samples: dict[str, list[str]]):
    base = prompt_tokens(model, "hi")  # chat-template overhead plus one short word
    ratios = {}
    for kind, texts in samples.items():
        chars = toks = 0
        for t in texts:
            chars += len(t)
            toks += prompt_tokens(model, t) - base
        ratios[kind] = chars / toks
    return ratios  # e.g. {"english": 4.1, "arabic": 2.9, "json": 2.3}

def estimate(text, kind, ratios, overhead=10):
    return int(len(text) / ratios[kind]) + overhead
```

Gumamit ng 20 o higit pang totoong sample kada uri ng content (ang mga totoong prompt mo, hindi lorem ipsum). Inaalis ng baseline request na may iisang salita ang nakapirming overhead ng chat template, na ibinabalik ng `estimate` bilang `overhead`; itakda ito sa nasukat mong baseline. Mag-calibrate sa pinakamurang model ng BroadNet kung iyon lang talaga ang tatawagin mo: hindi naililipat ang mga ratio ng [Gemma 4 VL 26B](https://broadrouter.com/fil/models/gemma-4-vl-26b/) sa [DeepSeek V4.1 Flash](https://broadrouter.com/fil/models/deepseek-v4.1-flash/). Sinisingil din bilang input token ang mga larawan, at mas marami ang nagagamit ng mas malalaking larawan, kaya i-calibrate ang mga ito nang hiwalay ayon sa resolution.

## Anong margin ang dapat gamitin para sa max\_tokens at context?

Sakop ng window ang prompt **at** output. Sa mga reasoning model, kasama sa output ang nakatagong pag-iisip, na iniuulat bilang [reasoning token](https://broadrouter.com/fil/glossary/reasoning-tokens/). Ganito mag-budget:

1.  **Tantiya ng prompt** = calibrated na bilang × 1.15 (safety margin na 15 porsiyento).
2.  **Budget ng sagot** = ang pinakamahabang sagot na tatanggapin mo.
3.  **Reasoning budget** = para sa mga thinking model, hindi bababa sa 1,000 token; inirerekomenda ng docs ng BroadNet ang hindi bababa sa 1,000 o `reasoning_effort: "low"`, dahil puwedeng magbalik ng walang laman na sagot ang maliit na limit.
4.  **max\_tokens** = budget ng sagot + reasoning budget.
5.  **I-check**: tantiya ng prompt + max\_tokens ≤ context window. Kung hindi, ang prompt ang bawasan, hindi ang sagot.

Mga context window sa BroadNet Inference, mula sa published na price file:

| Model | Context window | Praktikal na kisame ng prompt na may 16K output at 15% margin |
| --- | --- | --- |
| DeepSeek V4.1 Flash | 1,048,576 | mga 897,000 |
| [GLM 5.3](https://broadrouter.com/fil/models/glm-5.3/) | 1,048,576 | mga 897,000 |
| [Qwen3.8 27B](https://broadrouter.com/fil/models/qwen3.8-27b/) | 262,144 | mga 213,000 |
| Gemma 4 VL 26B | 32,768 | mga 14,000 |

Ang column ng kisame ay (window − 16,384) ÷ 1.15, ni-round down. Palitan ang 16,384 ng sarili mong max\_tokens.

## Ano ang karaniwang nagkakamali sa tantiya ng token?

-   **Pagbilang ng salita sa halip na token.** Para sa English ang patakarang 0.75 salita kada token. 46 hanggang 102 token ang Arabic sample namin na 29 salita, depende sa tokenizer.
-   **Pagkalimot sa tools at system prompt.** JSON ang mga tool schema, na siksik sa token. Bilangin ang mga ito bilang bahagi ng prompt.
-   **Pag-aakalang may tahimik na truncation.** May mga tool na nag-aalis ng lumang message nang hindi sinasabi sa iyo. Sabi ng BroadNet, hindi nito binabawasan ang context mo, kaya i-check ang laki bago magpadala sa halip na umasa sa server na putulin ito. Ginagawa ng [context window calculator](https://broadrouter.com/tools/context-window-calculator/) ang check para sa iyo.
-   **Hindi pagpansin sa paglaki ng history.** Sa chat o agent loop, lumalaki ang prompt bawat turn. I-check ulit ang budget sa bawat call, hindi isang beses lang kada session. Mas maganda ring mag-cache ang stable na history; tingnan ang [istruktura ng prompt para sa caching](https://broadrouter.com/fil/blog/prompt-structure-for-caching/).

Kung Arabic ang ginagamit mo, isa pang dahilan ang tokenizer para i-test ang mga model sa sarili mong text; nasa [pagpili ng LLM para sa Arabic](https://broadrouter.com/fil/blog/choosing-an-llm-for-arabic/) ang iba pa. Para gawing buwanang bill ang bilang ng token, tingnan ang [paano tantiyahin ang gastos sa LLM API bago mag-launch](https://broadrouter.com/fil/blog/estimate-llm-api-cost-before-launch/).

## Saan bagay ang BroadNet Inference

Ibinabalik ng BroadNet Inference ang `prompt_tokens`, `completion_tokens` at, kapag iniuulat ng model, ang bilang ng cached at reasoning token sa bawat response, na siyang kailangan mo lang para mag-calibrate. Hindi ito naglalathala ng counting endpoint o tokenizer kada model, kaya tantiya ang bilang bago magpadala. Nasa [gabay sa context window](https://broadrouter.com/fil/blog/million-token-context-window-guide/) ang long-context na trabaho sa mga 1M-token na model, at nasa [pricing page](https://broadrouter.com/fil/pricing/) ang presyo kada 1M token.

Mga libreng tool para rito (Ingles)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Libreng tools (Ingles)](https://broadrouter.com/tools/)

## Mga termino sa artikulong ito

[Token](https://broadrouter.com/fil/glossary/token/)

Ang token ay ang yunit ng text na binabasa at isinusulat ng isang language model: isang salita, bahagi ng salita, bantas o byte sequence na ginawa ng tokenizer ng model. Sa token binibilang, nililimitahan at kadalasang sinisingil ng mga LLM API ang paggamit.

[Context window](https://broadrouter.com/fil/glossary/context-window/)

Ang context window ay ang pinakamaraming token na kayang hawakan ng isang language model sa iisang request. Sakop nito ang prompt, history ng usapan, tool definitions, mga larawan at ang nabuong output, kasama ang anumang reasoning tokens. Ang hindi kasya ay kailangang bawasan, ibuod o hatiin sa ilang request.

[Tokenizer](https://broadrouter.com/fil/glossary/tokenizer/)

Ang tokenizer ay ang bahaging ginagawang sunod ng integer token ID na binabasa ng language model ang text, at ibinabalik sa text ang mga nabuong ID. May sariling tokenizer ang bawat model, kaya puwedeng magkaiba ang bilang ng token ng iisang text sa magkakaibang model.

[Tool calling (function calling)](https://broadrouter.com/fil/glossary/tool-calling/)

Ang tool calling, tinatawag ding function calling, ay feature ng LLM API kung saan nagbabalik ang model ng structured na request para magpatakbo ng function na tinukoy ng developer, kasama ang JSON arguments. Ang application ang nagpapatakbo ng function at nagpapadala pabalik ng resulta; hindi kailanman nagpapatakbo ng code ang model mismo.

[max\_tokens](https://broadrouter.com/fil/glossary/max-tokens/)

Ang max\_tokens ay isang parameter ng LLM API na nagtatakda ng pinakamaraming token na puwedeng isulat ng model sa isang response. Kapag naabot ang limit, humihinto ang pagbuo ng sagot at minamarkahang naputol ang response, halimbawa may finish\_reason na "length".

[Chat template](https://broadrouter.com/fil/glossary/chat-template/)

Ang chat template ay ang formatting rule, kadalasang nakasulat sa Jinja at kasama ng tokenizer ng model, na nagko-convert ng listahan ng chat messages na may role tungo sa iisang token sequence na inaasahan ng model, kasama ang mga special control token nito. Puwedeng lubhang sumama ang sagot ng model kapag mali ang template.

[Open-weight model](https://broadrouter.com/fil/glossary/open-weight-model/)

Ang open-weight model ay machine learning model na inilathala ang trained weights para i-download at patakbuhin ng kahit sino, kadalasan sa ilalim ng lisensyang may kondisyon. Iba ito sa ganap na open-source AI, na naglalabas din ng training code at detalyadong impormasyon tungkol sa training data para mapag-aralan at ma-reproduce ng iba ang model.

[AI agent](https://broadrouter.com/fil/glossary/agent/)

Ang AI agent ay isang system kung saan ang language model mismo ang nagdidirekta ng mga hakbang nito tungo sa isang layunin: pinipili nito kung aling tools ang tatawagin, binabasa ang mga resulta at umuulit hanggang makabuo ng huling sagot o maabot ang limit. Workflow naman ang karaniwang tawag sa fixed na script na tumatawag sa model sa takdang punto.

## Mga tanong

### Ilang token ang isang salita?

Sa tokenizer dataset ng BroadRouter, na pinagsasama ang limang tokenizer (ng apat na chat model ng BroadNet at ang o200k\_base ng OpenAI; nagdadagdag ng cl100k\_base ang example table ng post), mga 1,290 token ang 1,000 English na salita, o mga 1.29 token kada salita. Malapit para sa English na prose ang karaniwang rule of thumb na 0.75 salita kada token. Mas maraming token kada salita ang Arabic, ibang non-Latin na script at code. Sukatin ang sarili mong text gamit ang model na tinatawag mo.

### Puwede ko bang gamitin ang tiktoken para bilangin ang token ng DeepSeek, Qwen o Gemma?

Bilang magaspang na tantiya lang. Mga encoding ng OpenAI ang ipinapatupad ng tiktoken. May sariling tokenizer ang ibang model family, madalas nasa Hugging Face, at magkakaiba ang bilang. Mag-calibrate gamit ang usage field.

### May libreng tool ba para bilangin ang token ng DeepSeek, Qwen, GLM o Gemma?

Oo. Pinapatakbo ng libreng token counter ng BroadRouter ang mga published na tokenizer ng mga model family na ito sa browser mo, kaya hindi umaalis sa machine mo ang text. Ituring na tantiya ang bilang ng iuulat ng API, dahil nagdadagdag ng ilang token ang chat template.

### Ano ang mangyayari kung mas mahaba ang prompt ko kaysa sa context window?

Error ang ibinabalik ng karamihan ng API. May mga tool na tahimik na nagbabawas ng lumang message. Hindi binabawasan ng BroadNet ang context mo, kaya i-check ang prompt kasama ang max\_tokens laban sa window bago magpadala.

### Gaano kalaking margin ang dapat kong iwan para sa max\_tokens?

Tantiyahin ang pinakamahabang sagot na inaasahan mo, idagdag ang reasoning budget para sa mga thinking model, at iwanang bakante ang 10 hanggang 20 porsiyento ng window para sa error sa tantiya.

## Magbasa pa

-   [Token kada salita sa Arabic vs English: bakit mas mahal ang Arabic](https://broadrouter.com/fil/blog/tokens-per-word-arabic-english/)
-   [Kailan sulit ang 1M-token na context window (at kailan hindi)](https://broadrouter.com/fil/blog/million-token-context-window-guide/)
-   [Paano tantiyahin ang gastos sa LLM API bago mag-launch ng feature](https://broadrouter.com/fil/blog/estimate-llm-api-cost-before-launch/)
-   [Paano ayusin ang prompt para ma-cache ang prefix](https://broadrouter.com/fil/blog/prompt-structure-for-caching/)
-   [Bawasan ang prompt token: sinukat na tipid sa system prompt at tools](https://broadrouter.com/fil/blog/reduce-prompt-tokens/)
-   [GPU hardware at paraan ng serving ng BroadNet, ayon sa BroadNet](https://broadrouter.com/fil/blog/broadnet-gpu-fleet-and-serving/)
-   [I-cache ang LLM API response, makatipid: exact-match cache sa Python](https://broadrouter.com/fil/blog/cache-llm-responses-cut-cost/)
-   [Gabay: Bakit walang laman ang sagot ng isang reasoning model](https://broadrouter.com/fil/guides/reasoning-tokens-empty-response/)
-   [Gabay: Paano gamitin ang OpenAI Python SDK sa BroadNet Inference](https://broadrouter.com/fil/guides/openai-python-sdk/)

Subukan ito sa totoong workload mo. May US$5 na panimulang credit ang mga bagong account para sa Gemma at transcription. Kailangan ng top-up para sa DeepSeek, GLM, at Qwen3.8.

[Magsimula](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-blog-count-tokens-before-sending&utm_content=page-cta) ·

**Mga source**

-   [README ng tiktoken, mga encoding at mga 4 byte kada token (kinuha noong 2026-11-14)](https://github.com/openai/tiktoken)
-   [API reference ng BroadNet Inference, max\_tokens at reasoning (kinuha noong 2026-11-14) (Ingles)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-blog-count-tokens-before-sending&utm_content=sources)
-   [Machine-readable na presyo at haba ng context ng BroadNet Inference (pricing.json, kinuha noong 2026-11-14) (Ingles)](https://inference.broadnet.ai/pricing.json?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-blog-count-tokens-before-sending&utm_content=sources)
-   [Hugging Face Transformers, dokumentasyon ng tokenizer (kinuha noong 2026-11-14)](https://huggingface.co/docs/transformers/main_classes/tokenizer)
