BroadRouter

发送大模型请求前,怎么计算 token 数?

BroadNet Inference 团队 · 阅读约 5 分钟 · 发布于 · 更新于

如果所调用模型的分词器是公开的,就用它来计算 token 数;否则用真实请求返回的 usage 字段,按语言和内容类型校准“每 token 字符数”。再加 10% 到 20% 的余量,然后检查提示词 token 加上 max_tokens 是否放得进上下文窗口,思考模型还要为思考 token 留出空间。

发送请求前需要知道 token 数,原因有三个:不超出上下文窗口、设定合理的 max_tokens,以及估算成本。精确的数字只能来自模型自己的分词器,靠谱的估算则来自校准。本文用真实测量数据把两种方法都讲清楚。

为什么不同模型的 token 数不一样?

分词器把文本切分成来自固定词表的片段。每个模型家族都训练自己的分词器。词表越大,或者训练时某种语言的语料越多,这种语言切出来的 token 就越少。所以“这段提示词有多少个 token”,对每个模型的答案都不一样。

我们测量了同一条简短的客服消息(翻译成四种语言),外加一个小的 Python 函数和一个发票 JSON 对象。OpenAI 的计数来自 tiktoken(cl100k_base 对应 GPT-4 时代,o200k_base 对应 GPT-4o 时代)。开源模型的计数来自各家族在 Hugging Face 上发布的分词器文件,不含对话模板,测量日期为 2026 年 11 月 14 日。

文本(含义相同) 字符数 cl100k_base o200k_base DeepSeek V4.1 Flash GLM 5.3 Qwen3.8 27B Gemma 4
英文,31 个单词 173 37 37 37 38 39 39
西班牙语 160 47 40 50 45 43 42
阿拉伯语 142 102 46 55 58 48 49
中文 54 51 37 34 35 36 38
Python 函数 94 33 33 35 33 35 38
发票 JSON 140 59 60 63 60 72 72

每行只有一个样本,所以这些数字只是示意,不是基准测试。但有三点结论依然成立。第一,分词器的代际很重要:同一段阿拉伯语从 cl100k_base 换到 o200k_base,token 数减少了一半以上。第二,开源模型之间也有差别:同一段阿拉伯语从 48 到 58 个 token 不等,JSON 从 60 到 72 个不等。第三,结构化内容在哪里都很“费 token”:JSON 在每个分词器上都约为每 token 2 个字符。

你可以用免费的 token 计算器在自己的文本上重复这个测试,也可以用分家族的计算器:DeepSeek、Qwen 和 GPT。想看改动提示词能省多少,可以在提示词 token 对比工具里比较前后两个版本。至于阿拉伯语为什么格外费 token,基于更长文本的测量见阿拉伯语与英语的每词 token 数。

怎么精确计算 token 数?

如果模型的分词器是公开的,就加载它在本地计数。OpenAI 模型的做法如下:

import tiktoken
enc = tiktoken.encoding_for_model("gpt-4o")
n = len(enc.encode(text))

开源权重的模型家族,分词器通常和模型一起发布在 Hugging Face 上,用 AutoTokenizer.from_pretrained(...) 加载。有两点需要注意:对话模板会为角色和分隔符额外增加 token;API 服务商部署的版本也可能与公开文件不同。BroadNet 的 API 参考没有说明提供 token 计数端点,也没有列出每个模型的分词器,所以公开分词器只能给出接近的估算,精确数字要在调用后看 usage.prompt_tokens。

分词器不公开时,怎么估算 token 数?

每个模型校准一次,之后在本地估算:

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

def prompt_tokens(model, text):
    r = client.chat.completions.create(
        model=model, max_tokens=1000,  # room for reasoning on thinking models
        messages=[{"role": "user", "content": text}],
    )
    return r.usage.prompt_tokens

def measure(model, samples: dict[str, list[str]]):
    base = prompt_tokens(model, "hi")  # chat-template overhead plus one short word
    ratios = {}
    for kind, texts in samples.items():
        chars = toks = 0
        for t in texts:
            chars += len(t)
            toks += prompt_tokens(model, t) - base
        ratios[kind] = chars / toks
    return ratios  # e.g. {"english": 4.1, "arabic": 2.9, "json": 2.3}

def estimate(text, kind, ratios, overhead=10):
    return int(len(text) / ratios[kind]) + overhead

每种内容类型至少用 20 个真实样本(你实际的提示词,而不是 lorem ipsum)。只有一个词的基准请求用来扣除对话模板的固定开销,estimate 再以 overhead 的形式把它加回来;请把它设为你测得的基准值。只有当你真的会调用 BroadNet 最便宜的模型时,才在它上面校准:Gemma 4 VL 26B 的比例不能套用到 DeepSeek V4.1 Flash 上。图像也按输入 token 计费,图像越大消耗越多,所以要按分辨率单独校准。

max_tokens 和上下文应该留多少余量?

窗口同时包含提示词和输出。在思考模型上,输出还包括隐藏的思考过程,以思考 token 的形式报告。按下面的方式做预算:

  1. 提示词估算 = 校准后的计数 × 1.15(15% 的安全余量)。
  2. 回答预算 = 你能接受的最长回答。
  3. 思考预算 = 思考模型至少 1,000 个 token;BroadNet 的文档建议至少 1,000,或者使用 reasoning_effort: "low",因为上限太小可能返回空回答。
  4. max_tokens = 回答预算 + 思考预算。
  5. 检查:提示词估算 + max_tokens ≤ 上下文窗口。如果放不下,删减提示词,而不是回答。

BroadNet Inference 上各模型的上下文窗口(来自公开的价格文件):

模型 上下文窗口 输出 16K、余量 15% 时的实际提示词上限
DeepSeek V4.1 Flash 1,048,576 约 897,000
GLM 5.3 1,048,576 约 897,000
Qwen3.8 27B 262,144 约 213,000
Gemma 4 VL 26B 32,768 约 14,000

上限一列的计算方式是 (窗口 − 16,384) ÷ 1.15,向下取整。把 16,384 换成你自己的 max_tokens 即可。

token 估算常在哪里出错?

  • 数单词而不是数 token。“每 token 0.75 个单词”的规则只适用于英文。我们那段 29 个单词的阿拉伯语样本,按分词器不同是 46 到 102 个 token。
  • **忘了工具和系统提示词。**工具 schema 是 JSON,非常费 token。要把它们算作提示词的一部分。
  • **以为会被自动截断。**有些工具会不打招呼地丢掉旧消息。BroadNet 表示不会裁剪你的上下文,所以要在发送前检查大小,而不是指望服务器替你截断。上下文窗口计算器可以帮你做这个检查。
  • **忽视历史记录的增长。**在聊天或智能体循环中,提示词每一轮都会变长。每次调用都要重新检查预算,而不是每个会话只查一次。稳定的历史记录也更容易命中缓存,见面向缓存的提示词结构。

如果你处理的是阿拉伯语,分词器又多了一个理由让你用自己的文本测试模型;其余要点见如何为阿拉伯语选择大模型。要把 token 数换算成每月账单,见上线前如何估算大模型 API 成本。

BroadNet Inference 适合什么场景

BroadNet Inference 在每个响应中都返回 prompt_tokens、completion_tokens,以及(模型报告时的)缓存 token 和思考 token 数,校准所需的信息都在这里。它没有公开计数端点,也没有公布每个模型的分词器,所以发送前的计数都是估算。百万 token 模型上的长上下文用法见上下文窗口指南,每百万 token 的价格见价格页面。

常见问题

一个单词大概是多少个 token?

BroadRouter 的分词器数据集汇总了五种分词器(BroadNet 四个对话模型的分词器和 OpenAI 的 o200k_base;文中的示例表格还加入了 cl100k_base)。按这个数据集,1,000 个英文单词约为 1,290 个 token,即每个单词约 1.29 个 token。常见的经验法则“每 token 0.75 个单词”对英文文本来说比较接近。阿拉伯语、其他非拉丁文字和代码每个单词消耗的 token 更多。请用你实际调用的模型测量自己的文本。

能用 tiktoken 计算 DeepSeek、Qwen 或 Gemma 的 token 数吗?

只能作为粗略估算。tiktoken 实现的是 OpenAI 的编码方式。其他模型家族有自己的分词器,通常发布在 Hugging Face 上,计数结果会不同。请用 usage 字段校准。

有没有免费工具可以计算 DeepSeek、Qwen、GLM 或 Gemma 的 token 数?

有。BroadRouter 的免费 token 计算器在你的浏览器里运行这些模型家族公开发布的分词器,文本不会离开你的电脑。把结果当作 API 将报告数值的估算即可,因为对话模板还会多加几个 token。

提示词超过上下文窗口会怎样?

大多数 API 会返回错误。有些工具会悄悄裁掉旧消息。BroadNet 不会裁剪你的上下文,所以发送前要检查提示词加 max_tokens 是否在窗口之内。

max_tokens 应该留多少余量?

估算你预期的最长回答,思考模型再加上思考预算,并让窗口保留 10% 到 20% 的空间,以应对估算误差。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity