速率限制统计的是一段时间内的请求数,并发统计的是某一瞬间的请求数。大模型请求动辄要好几秒,所以往往是后一个限制先卡住你。
工作原理
利特尔法则(Little’s law)把这三个数联系在一起:
requests in flight = request rate × average time per request
即:进行中的请求数 = 请求速率 × 每个请求的平均耗时。
假设某个密钥允许 5 个请求同时进行、每分钟 60 个请求,每个请求耗时 20 秒。并发上限最多允许 5 ÷ 20 = 0.25 个请求每秒,也就是每分钟 15 个。你永远到不了每分钟 60 个,因为并发才是起约束作用的那个限制。如果每个请求只要 2 秒,同样的并发上限允许每分钟 150 个,这时起约束作用的就变成了速率限制。速率限制计算器可以用你自己的数字算这笔账。
长输出、思考 token 和长提示词都会让请求耗时更长,因而更快地用完并发。流式回复在结束前一直占用它的名额。
为什么重要
服务商限制并发,是因为 GPU 显存和算力是共享的。NVIDIA 的基准测试表明,服务器上的并发升高时,总输出量上升,而每个请求的每秒 token 数下降。按密钥设并发上限,可以防止一个客户端拖慢所有人。
对你的应用来说,并发决定了 worker 池的大小,以及能同时跑多少个智能体。请把池子大小设为并发上限,而不是更高,否则多出来的 worker 只会收到一堆 429 错误。
在 BroadNet Inference 上
| 接入方式 | 并发 |
|---|---|
| 按量付费密钥 | 同时进行 4 个请求,另有每分钟 30 个请求的限制 |
| 按小时密钥 | 一路流 |
| 不限量套餐 | 每个会话同一时间一个请求 |
套餐直接按并发出售。一个会话没有 token 计量,同一时间处理一个请求,就像一个智能体的工作方式。同一会话中的请求会依次排队。要并行运行多个智能体,就为每个智能体买一个会话:一个编排器加三个子智能体需要四个会话。一个密钥可以挂多个会话。
请阅读不限量会话如何工作和如何在包月套餐上并行运行编程智能体。智能体有很多时间花在执行工具上,所以在购买更多会话之前,先测一测实际的重叠程度。
常见错误
- 每个任务启动一个 worker,却不设池子。一批 100 个任务就变成了同时发出的 100 个请求。
- 客户端超时设得比一条长的思考回复还短。客户端放弃了,名额却仍被占用着。