TTFT 是一切开始之前的停顿。在聊天窗口里,它是一片空白;在语音机器人里,它是冷场。
工作原理
NVIDIA 的基准测试指南把 TTFT 拆成三部分:“request queuing time, prefill time, and network latency.”(译文:请求排队时间、预填充时间和网络延迟。)每一部分都有各自的成因:
| 部分 | 由什么决定 | 你能改变什么 |
|---|---|---|
| 网络 | 距离、TLS 握手、代理 | 复用连接;从就近的区域调用 |
| 排队 | 服务器有多忙 | 错峰调用、换负载较低的模型或档位 |
| 预填充 | 提示词长度、模型大小 | 缩短提示词,使用稳定、可缓存的前缀 |
对长输入来说,预填充通常是大头。模型要让整个提示词经过每一层,建立 KV 缓存,然后才能生成第一个 token。NVIDIA 指出,在繁忙的服务器上,一个请求的预填充可能与另一个请求的生成重叠,所以 TTFT 也会随着其他人的流量而波动。
阅读数据时,有两种定义需要注意。NVIDIA 的 AIPerf 只在第一个 token 带有内容时才计数。对于 Responses API 中的流式文本,OpenAI 的指南把 TTFT 计到 “until you receive the first nonempty response.output_text.delta”(译文:直到收到第一个非空的 response.output_text.delta)为止。有思考 token 时,第一个可见的字可能比第一个生成的 token 晚很多,所以要说清楚你指的是哪一个。
为什么重要
TTFT 比原始速度更能决定一个产品给人的快慢感受。OpenAI 的指南说 “a long prompt can delay the first token, especially when much of the input is new”(译文:长提示词会推迟第一个 token,尤其是当大部分输入都是新内容时)。这正是缓存输入 token 发挥作用的地方。同一份指南说,提示缓存 “can reuse an eligible exact prefix match”(译文:可以复用符合条件的完全匹配前缀),并建议对比有无缓存命中时的 TTFT。缓存的前缀跳过了一部分预填充,所以重复的系统提示词更便宜,也可能更快开始。
对智能体来说,每一步都要付出 TTFT。二十次工具调用、每次 TTFT 两秒,在计入任何输出之前就多等了四十秒。
TTFT 是端到端延迟的一部分,其余部分是生成时间,由每秒 token 数决定。
在 BroadNet Inference 上
BroadNet 的文档描述了使用 Server-Sent Events 的流式输出,以 data: [DONE] 结束,你在客户端正是通过它观察到第一个 token。DeepSeek V4.1 Flash、GLM 5.3 和 Qwen3.8 27B 会先思考再回答,所以第一段可见文字出现之前的时间包含了思考。BroadNet 没有公布 TTFT 数据。计时脚本和 p50/p95 报告方法,请看大模型延迟:TTFT 与每秒 token 数。