---
title: "大模型 API 的并发是什么？同时进行中的请求上限 | BroadRouter"
description: "并发是同一时刻正在运行的请求数。为什么大模型 API 要限制并发，它与速率限制和延迟有什么关系，以及如何确定 worker 和智能体的数量。"
url: https://broadrouter.com/zh/glossary/concurrency/
lang: zh-Hans
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。[阅读英文原文](https://broadrouter.com/glossary/concurrency/)（2026-11-14 更新）。

# 并发（concurrency）

更新于 2026-11-14

并发（concurrency）是客户端在同一时刻正在进行中的请求数。大模型 API 往往按密钥或套餐单独限制并发，与每分钟请求数分开计算，因为每个未完成的请求在响应结束前都会占用 GPU 资源。

又称： 并发数、并发请求、并行请求、并发限制、并发上限、concurrent requests、parallel requests、in-flight requests、concurrency limit

速率限制统计的是一段时间内的请求数，并发统计的是某一瞬间的请求数。大模型请求动辄要好几秒，所以往往是后一个限制先卡住你。

## 工作原理

利特尔法则（Little’s law）把这三个数联系在一起：

`requests in flight = request rate × average time per request`

即：进行中的请求数 = 请求速率 × 每个请求的平均耗时。

假设某个密钥允许 5 个请求同时进行、每分钟 60 个请求，每个请求耗时 20 秒。并发上限最多允许 5 ÷ 20 = 0.25 个请求每秒，也就是每分钟 15 个。你永远到不了每分钟 60 个，因为并发才是起约束作用的那个限制。如果每个请求只要 2 秒，同样的并发上限允许每分钟 150 个，这时起约束作用的就变成了速率限制。[速率限制计算器](https://broadrouter.com/tools/llm-rate-limit-calculator/)可以用你自己的数字算这笔账。

长输出、[思考 token](https://broadrouter.com/zh/glossary/reasoning-tokens/) 和长提示词都会让请求耗时更长，因而更快地用完并发。[流式](https://broadrouter.com/zh/glossary/streaming/)回复在结束前一直占用它的名额。

## 为什么重要

服务商限制并发，是因为 GPU 显存和算力是共享的。NVIDIA 的基准测试表明，服务器上的并发升高时，总输出量上升，而每个请求的[每秒 token 数](https://broadrouter.com/zh/glossary/tokens-per-second/)下降。按密钥设并发上限，可以防止一个客户端拖慢所有人。

对你的应用来说，并发决定了 worker 池的大小，以及能同时跑多少个智能体。请把池子大小设为并发上限，而不是更高，否则多出来的 worker 只会收到一堆 429 错误。

## 在 BroadNet Inference 上

| 接入方式 | 并发 |
| --- | --- |
| 按量付费密钥 | 同时进行 4 个请求，另有每分钟 30 个请求的限制 |
| 按小时密钥 | 一路流 |
| 不限量套餐 | 每个会话同一时间一个请求 |

套餐直接按并发出售。一个会话没有 token 计量，同一时间处理一个请求，就像一个智能体的工作方式。同一会话中的请求会依次排队。要并行运行多个智能体，就为每个智能体买一个会话：一个编排器加三个子智能体需要四个会话。一个密钥可以挂多个会话。

请阅读[不限量会话如何工作](https://broadrouter.com/zh/guides/unlimited-llm-api-sessions/)和[如何在包月套餐上并行运行编程智能体](https://broadrouter.com/zh/blog/run-parallel-coding-agents-flat-rate/)。智能体有很多时间花在执行工具上，所以在购买更多会话之前，先测一测实际的重叠程度。

## 常见错误

-   每个任务启动一个 worker，却不设池子。一批 100 个任务就变成了同时发出的 100 个请求。
-   客户端超时设得比一条长的思考回复还短。客户端放弃了，名额却仍被占用着。

## 常见问题

### 超过并发上限会怎样？

取决于服务商：多出来的请求要么被拒绝（常见的是返回 429），要么在队列里等待，直到有名额空出来。

### 流式输出会占用并发名额吗？

会。流式响应在最后一个分块到达前一直占着名额，所以输出越长，名额被占用的时间越久。

### AI 编程智能体需要多少并发？

单个智能体通常只需要一个，因为它要等每条回复回来才走下一步。一个编排器加三个同时运行的子智能体，最多需要四个：如果编排器在子智能体运行时也发请求，就需要四个；如果它等子智能体结束，就需要三个。

## 另请参阅

-   [速率限制（rate limit）](https://broadrouter.com/zh/glossary/rate-limit/)（术语）
-   [每秒 token 数（TPS，tokens per second）](https://broadrouter.com/zh/glossary/tokens-per-second/)（术语）
-   [流式输出（streaming）](https://broadrouter.com/zh/glossary/streaming/)（术语）
-   [大模型包月套餐（flat-rate LLM plan）](https://broadrouter.com/zh/glossary/flat-rate-llm-plan/)（术语）
-   [吞吐量（throughput）](https://broadrouter.com/zh/glossary/throughput/)（术语）
-   [延迟（latency）](https://broadrouter.com/zh/glossary/latency/)（术语）
-   [AI 智能体（AI agent）](https://broadrouter.com/zh/glossary/agent/)（术语）
-   [面向智能体的不限量 LLM API 套餐如何运作](https://broadrouter.com/zh/guides/unlimited-llm-api-sessions/)（指南）
-   [BroadNet Inference 错误码，以及什么时候该重试](https://broadrouter.com/zh/guides/errors-and-retries/)（指南）
-   [如何在固定价格大模型 API 上运行并行编程智能体](https://broadrouter.com/zh/blog/run-parallel-coding-agents-flat-rate/)（文章）
-   [大模型 API 套餐的“不限量”，到底意味着什么](https://broadrouter.com/zh/blog/what-unlimited-llm-api-really-means/)（文章）

用你的真实业务负载试一试。新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-glossary-concurrency&utm_content=page-cta) ·

**来源**

-   [利特尔法则（Little's law，Wikipedia）](https://en.wikipedia.org/wiki/Little%27s_law)
-   [NVIDIA NIM：大模型基准测试指标（并发与吞吐量）](https://docs.nvidia.com/nim/benchmarking/llm/latest/metrics.html)
-   [BroadNet Inference API 参考：限制（英文）](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-glossary-concurrency&utm_content=sources#limits)
-   [BroadNet Inference 套餐（会话）（英文）](https://inference.broadnet.ai/plans?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-glossary-concurrency&utm_content=sources)
