发送请求前需要知道 token 数,原因有三个:不超出上下文窗口、设定合理的 max_tokens,以及估算成本。精确的数字只能来自模型自己的分词器,靠谱的估算则来自校准。本文用真实测量数据把两种方法都讲清楚。
为什么不同模型的 token 数不一样?
分词器把文本切分成来自固定词表的片段。每个模型家族都训练自己的分词器。词表越大,或者训练时某种语言的语料越多,这种语言切出来的 token 就越少。所以“这段提示词有多少个 token”,对每个模型的答案都不一样。
我们测量了同一条简短的客服消息(翻译成四种语言),外加一个小的 Python 函数和一个发票 JSON 对象。OpenAI 的计数来自 tiktoken(cl100k_base 对应 GPT-4 时代,o200k_base 对应 GPT-4o 时代)。开源模型的计数来自各家族在 Hugging Face 上发布的分词器文件,不含对话模板,测量日期为 2026 年 11 月 14 日。
| 文本(含义相同) | 字符数 | cl100k_base | o200k_base | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B | Gemma 4 |
|---|---|---|---|---|---|---|---|
| 英文,31 个单词 | 173 | 37 | 37 | 37 | 38 | 39 | 39 |
| 西班牙语 | 160 | 47 | 40 | 50 | 45 | 43 | 42 |
| 阿拉伯语 | 142 | 102 | 46 | 55 | 58 | 48 | 49 |
| 中文 | 54 | 51 | 37 | 34 | 35 | 36 | 38 |
| Python 函数 | 94 | 33 | 33 | 35 | 33 | 35 | 38 |
| 发票 JSON | 140 | 59 | 60 | 63 | 60 | 72 | 72 |
每行只有一个样本,所以这些数字只是示意,不是基准测试。但有三点结论依然成立。第一,分词器的代际很重要:同一段阿拉伯语从 cl100k_base 换到 o200k_base,token 数减少了一半以上。第二,开源模型之间也有差别:同一段阿拉伯语从 48 到 58 个 token 不等,JSON 从 60 到 72 个不等。第三,结构化内容在哪里都很“费 token”:JSON 在每个分词器上都约为每 token 2 个字符。
你可以用免费的 token 计算器在自己的文本上重复这个测试,也可以用分家族的计算器:DeepSeek、Qwen 和 GPT。想看改动提示词能省多少,可以在提示词 token 对比工具里比较前后两个版本。至于阿拉伯语为什么格外费 token,基于更长文本的测量见阿拉伯语与英语的每词 token 数。
怎么精确计算 token 数?
如果模型的分词器是公开的,就加载它在本地计数。OpenAI 模型的做法如下:
import tiktoken
enc = tiktoken.encoding_for_model("gpt-4o")
n = len(enc.encode(text))
开源权重的模型家族,分词器通常和模型一起发布在 Hugging Face 上,用 AutoTokenizer.from_pretrained(...) 加载。有两点需要注意:对话模板会为角色和分隔符额外增加 token;API 服务商部署的版本也可能与公开文件不同。BroadNet 的 API 参考没有说明提供 token 计数端点,也没有列出每个模型的分词器,所以公开分词器只能给出接近的估算,精确数字要在调用后看 usage.prompt_tokens。
分词器不公开时,怎么估算 token 数?
每个模型校准一次,之后在本地估算:
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
def prompt_tokens(model, text):
r = client.chat.completions.create(
model=model, max_tokens=1000, # room for reasoning on thinking models
messages=[{"role": "user", "content": text}],
)
return r.usage.prompt_tokens
def measure(model, samples: dict[str, list[str]]):
base = prompt_tokens(model, "hi") # chat-template overhead plus one short word
ratios = {}
for kind, texts in samples.items():
chars = toks = 0
for t in texts:
chars += len(t)
toks += prompt_tokens(model, t) - base
ratios[kind] = chars / toks
return ratios # e.g. {"english": 4.1, "arabic": 2.9, "json": 2.3}
def estimate(text, kind, ratios, overhead=10):
return int(len(text) / ratios[kind]) + overhead
每种内容类型至少用 20 个真实样本(你实际的提示词,而不是 lorem ipsum)。只有一个词的基准请求用来扣除对话模板的固定开销,estimate 再以 overhead 的形式把它加回来;请把它设为你测得的基准值。只有当你真的会调用 BroadNet 最便宜的模型时,才在它上面校准:Gemma 4 VL 26B 的比例不能套用到 DeepSeek V4.1 Flash 上。图像也按输入 token 计费,图像越大消耗越多,所以要按分辨率单独校准。
max_tokens 和上下文应该留多少余量?
窗口同时包含提示词和输出。在思考模型上,输出还包括隐藏的思考过程,以思考 token 的形式报告。按下面的方式做预算:
- 提示词估算 = 校准后的计数 × 1.15(15% 的安全余量)。
- 回答预算 = 你能接受的最长回答。
- 思考预算 = 思考模型至少 1,000 个 token;BroadNet 的文档建议至少 1,000,或者使用
reasoning_effort: "low",因为上限太小可能返回空回答。 - max_tokens = 回答预算 + 思考预算。
- 检查:提示词估算 + max_tokens ≤ 上下文窗口。如果放不下,删减提示词,而不是回答。
BroadNet Inference 上各模型的上下文窗口(来自公开的价格文件):
| 模型 | 上下文窗口 | 输出 16K、余量 15% 时的实际提示词上限 |
|---|---|---|
| DeepSeek V4.1 Flash | 1,048,576 | 约 897,000 |
| GLM 5.3 | 1,048,576 | 约 897,000 |
| Qwen3.8 27B | 262,144 | 约 213,000 |
| Gemma 4 VL 26B | 32,768 | 约 14,000 |
上限一列的计算方式是 (窗口 − 16,384) ÷ 1.15,向下取整。把 16,384 换成你自己的 max_tokens 即可。
token 估算常在哪里出错?
- 数单词而不是数 token。“每 token 0.75 个单词”的规则只适用于英文。我们那段 29 个单词的阿拉伯语样本,按分词器不同是 46 到 102 个 token。
- **忘了工具和系统提示词。**工具 schema 是 JSON,非常费 token。要把它们算作提示词的一部分。
- **以为会被自动截断。**有些工具会不打招呼地丢掉旧消息。BroadNet 表示不会裁剪你的上下文,所以要在发送前检查大小,而不是指望服务器替你截断。上下文窗口计算器可以帮你做这个检查。
- **忽视历史记录的增长。**在聊天或智能体循环中,提示词每一轮都会变长。每次调用都要重新检查预算,而不是每个会话只查一次。稳定的历史记录也更容易命中缓存,见面向缓存的提示词结构。
如果你处理的是阿拉伯语,分词器又多了一个理由让你用自己的文本测试模型;其余要点见如何为阿拉伯语选择大模型。要把 token 数换算成每月账单,见上线前如何估算大模型 API 成本。
BroadNet Inference 适合什么场景
BroadNet Inference 在每个响应中都返回 prompt_tokens、completion_tokens,以及(模型报告时的)缓存 token 和思考 token 数,校准所需的信息都在这里。它没有公开计数端点,也没有公布每个模型的分词器,所以发送前的计数都是估算。百万 token 模型上的长上下文用法见上下文窗口指南,每百万 token 的价格见价格页面。
