BroadRouter

每秒 token 数(TPS,tokens per second)

更新于

每秒 token 数(TPS)是语言模型生成输出 token 的速率,通常针对单个请求、在首个 token 到达之后测量。它决定了回复开始后流得有多快。把所有并发请求加起来就是系统吞吐量;首个 token 之前的等待时间则单独测量。

又称: 生成速度、输出速度、token 速率、推理速度、TPS、tok/s、output speed、generation speed

速度分两部分:多久才开始出字,以及开始之后文字流得有多快。每秒 token 数衡量的是第二部分。

工作原理

NVIDIA 的基准测试文档定义了相关指标:

  • 首 token 延迟(TTFT): 从发出请求到收到第一个 token 的时间。它随提示词长度增长。
  • token 间延迟(ITL): 输出 token 之间的平均间隔。
  • 单用户 TPS: 一个请求的输出 token 数除以它的端到端耗时,所以按 NVIDIA 的定义,它包含了 TTFT。很多仪表盘则像本页一样,引用的是首 token 之后的解码速度。
  • 系统 TPS: 所有同时进行的请求的输出 token 总数,也叫吞吐量。

它们此消彼长。NVIDIA 指出,随着并发升高,系统 TPS 上升,而单用户 TPS 下降。服务商宣传的数字和你单个请求的速度,可能都是真实的,却依然不同。

估算一条回复耗时的简便公式:

total time ≈ TTFT + output tokens ÷ tokens per second

即:总耗时 ≈ TTFT + 输出 token 数 ÷ 每秒 token 数。

举个例子,假设一路流每秒 50 个 token:一条 1,000 token 的回答在首个 token 之后大约需要 20 秒。如果模型还要写 2,000 个思考 token,那么在回答开始之前还要再加约 40 秒。首 token 延迟另算。

为什么重要

  • 用户体验。 流式输出让文字随到随显,所以 TTFT 和 TPS 决定了回复感觉起来有多快。
  • 智能体吞吐量。 编程智能体要等每条回复回来才走下一步。输出越快,每小时能走的步数越多。
  • 套餐限制。 在没有 token 计量的套餐上,速度就成了你能用多少 token 的真正上限。

在 BroadNet Inference 上

BroadNet 的套餐页面给出了 DeepSeek V4.1 Flash 的典型速度 约每秒 100 个 token。不限量套餐上的一个会话同一时间处理一个请求,所以按这个速度,一个会话不间断地生成 30 天,会产出 约 2.59亿 个输出 token。真实的智能体要花时间读取内容、执行工具和等待,所以实际数字会更低。

要在套餐上获得更高的总吞吐量,就增加会话:每个并行工作的智能体一个。参见不限量会话如何工作和并行运行编程智能体。

常见错误

  • 只用一个请求来比较服务商。请用你自己的提示词规模,在大量请求上测量 TTFT 和 TPS。
  • 设置客户端超时时忘了算上思考时间。

常见问题

每秒多少 token 才算快?

取决于用途。对话回复只要文字出现得比人阅读得快,就会让人觉得响应及时。智能体和批处理任务更在意每个任务的总耗时,以及能并行跑多少个请求。

每秒 token 数包括提示词吗?

通常不包括。生成速度只统计输出 token。读取提示词的时间体现在首 token 延迟上,它随提示词长度增长。

思考 token 会拖慢回答吗?

会。它们和可见输出以同样的速度生成,所以一个先思考 2,000 个 token 的模型,回答会推迟生成这些 token 所需的时间。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity