---
title: "什么是大模型 API 的首 token 延迟（TTFT）？ | BroadRouter"
description: "首 token 延迟（TTFT）是从发出大模型请求到收到第一个输出 token 的等待时间。它由排队、预填充和网络三部分组成。"
url: https://broadrouter.com/zh/glossary/time-to-first-token/
lang: zh-Hans
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。[阅读英文原文](https://broadrouter.com/glossary/time-to-first-token/)（2026-11-16 更新）。

# 首 token 延迟（TTFT，time to first token）

更新于 2026-11-16

首 token 延迟（TTFT）是从向语言模型发出请求到第一个输出 token 到达的时间。它包括网络时间、服务器上的排队时间和预填充（模型读取整个提示词的步骤），所以会随提示词长度和负载增加。

又称： 首 token 时间、首字延迟、首字时间、首包延迟、首 token 响应时间、TTFT、time to first token、first-token latency、time to first content token、first token time

TTFT 是一切开始之前的停顿。在聊天窗口里，它是一片空白；在语音机器人里，它是冷场。

## 工作原理

NVIDIA 的基准测试指南把 TTFT 拆成三部分：“request queuing time, prefill time, and network latency.”（译文：请求排队时间、预填充时间和网络延迟。）每一部分都有各自的成因：

| 部分 | 由什么决定 | 你能改变什么 |
| --- | --- | --- |
| 网络 | 距离、TLS 握手、代理 | 复用连接；从就近的区域调用 |
| 排队 | 服务器有多忙 | 错峰调用、换负载较低的模型或档位 |
| 预填充 | 提示词长度、模型大小 | 缩短提示词，使用稳定、可缓存的前缀 |

对长输入来说，预填充通常是大头。模型要让整个提示词经过每一层，建立 [KV 缓存](https://broadrouter.com/zh/glossary/kv-cache/)，然后才能生成第一个 token。NVIDIA 指出，在繁忙的服务器上，一个请求的预填充可能与另一个请求的生成重叠，所以 TTFT 也会随着其他人的流量而波动。

阅读数据时，有两种定义需要注意。NVIDIA 的 AIPerf 只在第一个 token 带有内容时才计数。对于 Responses API 中的流式文本，OpenAI 的指南把 TTFT 计到 “until you receive the first nonempty response.output\_text.delta”（译文：直到收到第一个非空的 response.output\_text.delta）为止。有[思考 token](https://broadrouter.com/zh/glossary/reasoning-tokens/) 时，第一个可见的字可能比第一个生成的 token 晚很多，所以要说清楚你指的是哪一个。

## 为什么重要

TTFT 比原始速度更能决定一个产品给人的快慢感受。OpenAI 的指南说 “a long prompt can delay the first token, especially when much of the input is new”（译文：长提示词会推迟第一个 token，尤其是当大部分输入都是新内容时）。这正是[缓存输入 token](https://broadrouter.com/zh/glossary/cached-input-tokens/) 发挥作用的地方。同一份指南说，提示缓存 “can reuse an eligible exact prefix match”（译文：可以复用符合条件的完全匹配前缀），并建议对比有无缓存命中时的 TTFT。缓存的前缀跳过了一部分预填充，所以重复的系统提示词更便宜，也可能更快开始。

对智能体来说，每一步都要付出 TTFT。二十次工具调用、每次 TTFT 两秒，在计入任何输出之前就多等了四十秒。

TTFT 是端到端[延迟](https://broadrouter.com/zh/glossary/latency/)的一部分，其余部分是生成时间，由[每秒 token 数](https://broadrouter.com/zh/glossary/tokens-per-second/)决定。

## 在 BroadNet Inference 上

BroadNet 的文档描述了使用 Server-Sent Events 的[流式输出](https://broadrouter.com/zh/glossary/streaming/)，以 `data: [DONE]` 结束，你在客户端正是通过它观察到第一个 token。DeepSeek V4.1 Flash、GLM 5.3 和 Qwen3.8 27B 会先思考再回答，所以第一段可见文字出现之前的时间包含了思考。BroadNet 没有公布 TTFT 数据。计时脚本和 p50/p95 报告方法，请看[大模型延迟：TTFT 与每秒 token 数](https://broadrouter.com/zh/blog/llm-latency-ttft-throughput/)。

## 常见问题

### 提示词很长时，TTFT 为什么会变慢？

模型必须先读完每一个提示词 token、建立 KV 缓存，才能开始输出。NVIDIA 的指标指南说，较长的提示词正是因此会增加 TTFT。

### 流式输出能缩短首 token 延迟吗？

不能。流式输出让你在第一个 token 生成后立刻看到它；不用流式输出，就要等整个回复完成。在这个 token 之前，服务端的工作量是一样的。

### 空的第一个数据块算首 token 吗？

在大多数基准测试中不算。NVIDIA 的 AIPerf 会忽略没有内容的初始响应，OpenAI 则把 TTFT 计到第一个非空的文本增量为止。

## 另请参阅

-   [延迟（latency）](https://broadrouter.com/zh/glossary/latency/)（术语）
-   [每秒 token 数（TPS，tokens per second）](https://broadrouter.com/zh/glossary/tokens-per-second/)（术语）
-   [KV 缓存（KV cache）](https://broadrouter.com/zh/glossary/kv-cache/)（术语）
-   [流式输出（streaming）](https://broadrouter.com/zh/glossary/streaming/)（术语）
-   [缓存输入 token（cached input tokens）](https://broadrouter.com/zh/glossary/cached-input-tokens/)（术语）
-   [投机解码（speculative decoding）](https://broadrouter.com/zh/glossary/speculative-decoding/)（术语）
-   [Prefill 与 Decode（预填充与解码）](https://broadrouter.com/zh/glossary/prefill-and-decode/)（术语）
-   [对话补全的流式输出，以及连接中断的处理](https://broadrouter.com/zh/guides/streaming-chat-completions/)（指南）
-   [推理模型为什么返回空回答](https://broadrouter.com/zh/guides/reasoning-tokens-empty-response/)（指南）
-   [大模型延迟：首 token 延迟、每秒 token 数与端到端耗时](https://broadrouter.com/zh/blog/llm-latency-ttft-throughput/)（文章）
-   [大模型流式输出详解：SSE 分块、delta、用量与取消](https://broadrouter.com/zh/blog/llm-streaming-sse-explained/)（文章）

用你的真实业务负载试一试。新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-glossary-time-to-first-token&utm_content=page-cta) ·

**来源**

-   [NVIDIA NIM：大模型基准测试指标（首 token 延迟）](https://docs.nvidia.com/nim/benchmarking/llm/latest/metrics.html)
-   [OpenAI：延迟优化指南](https://developers.openai.com/api/docs/guides/latency-optimization)
-   [BroadNet Inference API 参考文档：流式输出与思考（英文）](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-glossary-time-to-first-token&utm_content=sources)
