BroadRouter
开始使用

并发(concurrency)

更新于

并发(concurrency)是客户端在同一时刻正在进行中的请求数。大模型 API 往往按密钥或套餐单独限制并发,与每分钟请求数分开计算,因为每个未完成的请求在响应结束前都会占用 GPU 资源。

又称: 并发数、并发请求、并行请求、并发限制、并发上限、concurrent requests、parallel requests、in-flight requests、concurrency limit

速率限制统计的是一段时间内的请求数,并发统计的是某一瞬间的请求数。大模型请求动辄要好几秒,所以往往是后一个限制先卡住你。

工作原理

利特尔法则(Little’s law)把这三个数联系在一起:

requests in flight = request rate × average time per request

即:进行中的请求数 = 请求速率 × 每个请求的平均耗时。

假设某个密钥允许 5 个请求同时进行、每分钟 60 个请求,每个请求耗时 20 秒。并发上限最多允许 5 ÷ 20 = 0.25 个请求每秒,也就是每分钟 15 个。你永远到不了每分钟 60 个,因为并发才是起约束作用的那个限制。如果每个请求只要 2 秒,同样的并发上限允许每分钟 150 个,这时起约束作用的就变成了速率限制。速率限制计算器可以用你自己的数字算这笔账。

长输出、思考 token 和长提示词都会让请求耗时更长,因而更快地用完并发。流式回复在结束前一直占用它的名额。

为什么重要

服务商限制并发,是因为 GPU 显存和算力是共享的。NVIDIA 的基准测试表明,服务器上的并发升高时,总输出量上升,而每个请求的每秒 token 数下降。按密钥设并发上限,可以防止一个客户端拖慢所有人。

对你的应用来说,并发决定了 worker 池的大小,以及能同时跑多少个智能体。请把池子大小设为并发上限,而不是更高,否则多出来的 worker 只会收到一堆 429 错误。

在 BroadNet Inference 上

接入方式 并发
按量付费密钥 同时进行 4 个请求,另有每分钟 30 个请求的限制
按小时密钥 一路流
不限量套餐 每个会话同一时间一个请求

套餐直接按并发出售。一个会话没有 token 计量,同一时间处理一个请求,就像一个智能体的工作方式。同一会话中的请求会依次排队。要并行运行多个智能体,就为每个智能体买一个会话:一个编排器加三个子智能体需要四个会话。一个密钥可以挂多个会话。

请阅读不限量会话如何工作和如何在包月套餐上并行运行编程智能体。智能体有很多时间花在执行工具上,所以在购买更多会话之前,先测一测实际的重叠程度。

常见错误

  • 每个任务启动一个 worker,却不设池子。一批 100 个任务就变成了同时发出的 100 个请求。
  • 客户端超时设得比一条长的思考回复还短。客户端放弃了,名额却仍被占用着。

常见问题

超过并发上限会怎样?

取决于服务商:多出来的请求要么被拒绝(常见的是返回 429),要么在队列里等待,直到有名额空出来。

流式输出会占用并发名额吗?

会。流式响应在最后一个分块到达前一直占着名额,所以输出越长,名额被占用的时间越久。

AI 编程智能体需要多少并发?

单个智能体通常只需要一个,因为它要等每条回复回来才走下一步。一个编排器加三个同时运行的子智能体,最多需要四个:如果编排器在子智能体运行时也发请求,就需要四个;如果它等子智能体结束,就需要三个。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity