BroadRouter
开始使用

延迟(latency)

更新于

对于语言模型 API,延迟是一个请求从发出到收到最后一个输出 token 所用的时间。它等于首 token 延迟加上生成时间,通常以 p50、p95 等百分位而不是平均值来报告。

又称: 大模型延迟、端到端延迟、响应时间、响应延迟、token 间延迟、latency、LLM latency、end-to-end latency、response time、e2e latency、inter-token latency

延迟是用户能切身感受到的数字,也是团队从演示走向生产时最常被它吓一跳的数字。

工作原理

NVIDIA 的指标指南给出了单个请求的核心公式:

e2e_latency = TTFT + generation_time
ITL = (e2e_latency - TTFT) / (output_tokens - 1)

即:端到端延迟 = TTFT + 生成时间;token 间延迟(ITL)=(端到端延迟 − TTFT)÷(输出 token 数 − 1)。

首 token 延迟涵盖网络、排队和读取提示词。生成时间是首个 token 之后的全部时间:(输出 token 数 − 1)× token 间延迟(ITL),回复较长时约等于输出 token 数 × ITL。NVIDIA 说,端到端延迟 “includes queueing, batching, and network latency.”(译文:包括排队、批处理和网络延迟。)

用整数举个例子:假设模型每秒流式输出 50 个 token。一个 600 token 的回复需要 600 ÷ 50 = 12 秒来生成。再加上一秒的 TTFT,这个请求大约耗时 13 秒。回复长度减半能省 6 秒;TTFT 减半只省半秒。在这里,输出长度起决定作用。

对一个应用来说,请求很少是孤立的。用户屏幕上感受到的延迟,还包括出错后的重试、等待并发名额的时间、模型各轮之间的工具调用,以及你自己的代码。

为什么重要

OpenAI 的延迟指南列出了七项原则:更快地处理 token、少生成 token、少用输入 token、少发请求、并行化、让用户少等,以及不要默认就用大模型。其中大部分是设计上的选择,而不是选哪家服务商的问题。

请报告百分位。p50 为 4 秒、p95 为 30 秒,意味着每二十个用户中就有一个要等半分钟甚至更久。平均值会掩盖这条长尾,而超时设置恰恰取决于它。

延迟和吞吐量相互牵制。NVIDIA 指出,随着并发请求增加,系统每秒总 token 数上升,而每个用户每秒得到的 token 数下降。一家繁忙的服务商可以服务更多人,同时让每个人都觉得更慢。

在 BroadNet Inference 上

BroadNet 的套餐页面给出的典型速度为 约每秒 100 个 token。它的文档没有公布 TTFT 或延迟百分位数据。按量付费密钥允许同时有 4 个进行中的请求;文档把并发限制列为 HTTP 429 的原因之一,而每次 429 之后的重试都会增加你这一侧的延迟。长时间运行的智能体应设置超时和有上限的重试;参见长时间运行智能体的超时与重试。要在客户端测量每一部分,请看大模型延迟指南。

常见问题

延迟和吞吐量有什么区别?

延迟是单个请求花多长时间。吞吐量是系统在所有请求上每秒完成多少工作。服务器可以通过批量处理更多请求来提高吞吐量,同时每个请求都变慢。

什么是 token 间延迟?

第一个 token 之后,输出 token 之间的平均间隔,也叫每个输出 token 的时间。NVIDIA 把它定义为端到端延迟减去 TTFT,再除以输出 token 数减一。

怎样降低大模型延迟?

少生成一些输出 token、发送更短的提示词、用流式输出让用户更早看到文字,并把相互独立的调用并行执行。OpenAI 的延迟指南把这些列在它的七项原则之中。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity