搜索“大模型 API 速率限制”,你会看到许多互相矛盾的博客表格,原因往往是它们抄了过时的数字。本页的每个数字都在 2026 年 11 月 15 日从服务商自己的文档中读取,注明适用的档位和模型;服务商没有公布的,单元格就留空。同样的数据(连同免费额度和数据使用条款)也可以作为数据集下载,见大模型 API 免费档与速率限制。BroadRouter 是 BroadNet 自己的网站,BroadNet 的限制也列在表中。
RPM、TPM、RPD 和并发分别是什么意思?
速率限制规定你在一个时间窗口内最多能发送多少。各家统计的对象不同:
| 限制 | 统计什么 | 什么时候最容易撞上 |
|---|---|---|
| RPM,每分钟请求数 | 一分钟内发起的请求 | 你发送大量短调用(分类、类似 embeddings 的循环) |
| RPS,每秒请求数 | 同上,但窗口是一秒 | 你突发地发送请求,即使分钟平均值不高 |
| TPM,每分钟 token 数 | 一分钟内处理的 token,有时输入(ITPM)和输出(OTPM)分开计算 | 你发送长提示词或长文档 |
| RPD / TPD,每日 | 一天内的请求数或 token 数 | 你在免费档上跑批处理任务 |
| 并发 | 同一时刻正在进行的请求 | 请求很慢:思考(reasoning)、长输出、智能体 |
哪个限制先卡住你,取决于请求的形态。在并发限制下,吞吐量取决于请求时长:DeepInfra 自己的文档举例说,200 个并发请求、平均耗时 1 秒,大约相当于 12,000 RPM。同样的并发下,一个耗时 30 秒的思考请求只能达到其中的一小部分。
大多数服务商实际执行限制的时间窗口,也比公布的更短。Anthropic 说 60 RPM 的限制 “might be enforced as 1 request per second”(译文:可能会按每秒 1 个请求来执行);xAI 则从每分钟预算推算每秒限制(“RPM / 48, with a minimum of 2”,译文:RPM 除以 48,最少为 2)。
使用档位是怎么运作的?
大型闭源模型服务商会随着你的消费提高限制:
| 服务商 | 档位(2026-11-15 核实) | 如何升档 |
|---|---|---|
| OpenAI | Free、Build、Launch、Grow | Free:用户必须位于允许的地区,每月使用上限 USD 100(是消费上限,不是赠送额度)。之后依次为累计购买额度 USD 5、USD 100 和 USD 500,每月使用上限分别为 USD 500、USD 5,000 和 USD 200,000 |
| Anthropic | Evaluation、Start、Build、Scale、Custom | 根据使用记录和账户状况自动升档。每月支出上限:Start USD 500,Build USD 1,000,Scale USD 200,000 |
| Google Gemini API | Free、Tier 1、Tier 2、Tier 3 | Tier 1 需要绑定结算账户;Tier 2 需要已付 USD 100 且满 3 天;Tier 3 需要 USD 1,000 且满 30 天。Google 表示所列速率限制 “not guaranteed”(译文:不作保证),对提额申请也 “no guarantees”(译文:不作任何保证) |
| Fireworks AI | Tier 1 到 Tier 4 | Tier 1 需要绑定付款方式,之后依次为消费或额度达到 USD 50、USD 500 和 USD 5,000。升档提高的是 TPM,不是 RPM |
| xAI | Tier 0 到 Tier 4、Enterprise | 自 2026 年 1 月 1 日起的累计消费:USD 0、50、250、1,000 和 5,000 |
实际使用中有两个细节很重要。Anthropic 的支出上限一旦达到,会返回 HTTP 429,而且不带 retry-after 头,所以自动重试会一直失败,直到当月重置或你升档。另外,Anthropic 的输入限制只统计未缓存的输入:缓存读取不计入,所以缓存命中率高,实际吞吐量也会更高。
各家大模型 API 速率限制:入门档位
下表是各服务商免费档或第一个付费档的数字,取自各自的速率限制页面。短横线表示该页面没有公布这项限制的数字,并不代表无限制。
| 服务商 | 档位和模型 | RPM | TPM | 每日 | 并发 |
|---|---|---|---|---|---|
| OpenAI | Build;Astra、Sol、Terra | 5,000 | 1,000,000 | – | – |
| OpenAI | Build;Luna | 5,000 | 2,000,000 | – | – |
| Anthropic | Start;Sonnet 5.5、Opus 5.5、Haiku 5.5 | 4,000 | 输入 2,000,000(未缓存),输出 400,000 | – | – |
| Google Gemini API | Free;Gemini Decision 1(页面上唯一给出免费数字的模型) | 200 | 50,000 | 10,000 个请求 | – |
| Google Gemini API | Tier 1;Gemini Decision 1 | 1,500 | 1,000,000 | 50,000 个请求 | – |
| Groq | 免费计划表格;openai/gpt-oss-120b、qwen/qwen3.8-27b | 30 | 8,000 | 1,000 个请求、200,000 个 token | – |
| Groq | 开发者计划(Developer)表格;openai/gpt-oss-120b、qwen/qwen3.8-27b | 1,000 | 250,000 | 500,000 个请求 | – |
| Cerebras | Free Trial;gpt-oss-120b | 5 | 未缓存 30,000(总计 90,000) | 1,000,000 个 token | – |
| Cerebras | Developer(按量付费);gpt-oss-120b | 1,000 | 未缓存 500,000(总计 1,500,000) | 无上限 | – |
| Fireworks AI | 未绑定付款方式、无额度;按整个账户 | 10 | – | – | – |
| Fireworks AI | 已绑定付款方式并有额度;按整个账户 | 6,000 | 由消费档位决定 | – | – |
| DeepInfra | 默认;每个公共模型 | – | – | – | 200 |
| DeepSeek | 默认;deepseek-flash (DeepSeek-V4.1-Flash-1017),每个账户 |
– | – | – | 2,500 |
| DeepSeek | 默认;deepseek-v4-pro (DeepSeek-V4-Pro-0813),每个账户 |
– | – | – | 500 |
| xAI | Tier 0;grok-4.7 (150 RPS) | – | 50,000,000 | – | – |
| OpenRouter | :free 模型,购买额度少于 USD 10 | 20 | – | 50 个请求 | – |
| OpenRouter | :free 模型,购买额度达到 USD 10 或以上 | 20 | – | 1,000 个请求 | – |
| Cohere | 试用密钥;Command A | 20 | – | 每月 1,000 次调用 | – |
| Cohere | 生产密钥;Command A | 500 | – | – | – |
| BroadNet Inference | 按量付费密钥;任意模型 | 30 | – | – | 4 |
| BroadNet Inference | 按小时密钥;Gemma 4 VL 26B | 120 | 300,000 | – | 1 路流 |
| BroadNet Inference | 固定价格套餐会话;DeepSeek V4.1 Flash | – | 不计 token | – | 同一时间 1 个请求 |
关于表中各行的说明:
- Groq。 该页面有两个标签页:“Free Plan Limits”(译文:免费计划限制,默认打开)和 “Developer Plan Limits”(译文:开发者计划限制)。上方的句子把这些数字称为 “the base limits for the Developer plan”(译文:开发者计划的基础限制),这只适用于第二个标签页;上表列出了两者。你所在组织的确切限制以其限制页面为准。
- Google。 限制按项目计算,而不是按 API 密钥。大多数模型的数字只在 AI Studio 内显示。Gemini Decision 1 是 Google Decisions API 专用的分类模型,返回的是概率而不是文本,因此它的限制很难反映 Gemini 对话模型的限制。
- Mistral 和 Together AI 没有公布数字。Mistral 在控制台中显示你的限制,而不是公布表格,并且不提供免费的 API 访问(“It doesn’t include API access”,译文:不包括 API 访问)。Together 表示在需求高时 “may limit requests”(译文:可能会限制请求),并可能对热门模型设置自定义限制。
- OpenRouter。 付费模型版本 “no platform-level request cap”(译文:没有平台级的请求上限),但每个模型背后的服务商仍有各自的限制。
- DeepSeek。 繁忙时,DeepSeek 会用空行或
: keep-alive注释保持连接,如果 10 分钟内推理仍未开始,就会关闭连接。设置客户端超时时要考虑到这一点。
坦白说,BroadNet 的限制处于什么水平?
对大批量工作来说偏低。BroadNet 按量付费密钥每分钟允许 30 个请求、同时 4 个请求;而 OpenAI 和 Anthropic 的第一个付费档每分钟就允许数千个请求,Fireworks 绑卡后允许 6,000 个。如果你需要通过一个密钥每分钟发送数千个短请求,大型服务商的付费档更合适。
这些限制适合其他形态的负载:
- 智能体和聊天。 一个智能体同一时间只发送一个请求,然后等待。同时 4 个请求足够一个密钥支撑几个智能体;每个应用或每位同事各用一个密钥,可以分散负载。
- 固定价格套餐。 Full Moon、Orbit 或 Meteor 的会话不计 token,也没有每日或每周上限,但同一时间只运行一个请求,典型速度为 约每秒 100 个 token。要并行运行多个智能体,就为每个智能体各买一个会话。参见你需要多少个会话。
- 按小时密钥。 $0.50 可以买到一小时的 Gemma 4 VL 26B 一路流,每分钟 120 个请求、300,000 个 token。
BroadNet 的所有限制在超出时都返回 HTTP 429。API 参考没有给出 retry-after 的时间,所以请使用有上限、带抖动的退避。
怎样围绕速率限制做规划?
- 找出真正卡住你的限制。 按高峰流量算出每分钟请求数、每分钟 token 数和同时请求数。大模型速率限制计算器可以根据请求大小和延迟算出这些数字。
- 在客户端限流。 用与公布限制一致的令牌桶,就能避免大部分 429。Anthropic 在服务端用的也是这种算法。
- 读取响应头。 Anthropic 返回
anthropic-ratelimit-*头;Groq 返回x-ratelimit-*头,其中请求数的头 “always refers to Requests Per Day”(译文:始终指每日请求数)。有retry-after时就按它来。 - 用带抖动的退避重试,并限制重试次数。 处理 429 错误一文有可用的代码,错误与重试指南介绍了 BroadNet 的状态码。
- 缓存稳定的前缀。 在 Anthropic,缓存的输入不计入输入限制。在任何平台,缓存都能降低成本。
- 分散批量任务。 Anthropic 还有爬坡限制:流量突然激增,即使还没到上限也可能返回 429。批处理任务要慢慢加量。没有 Batch API 时,可续跑的批处理程序能让任务保持在限制之内。
- 申请提高限制。 DeepSeek、DeepInfra、Mistral 和 Anthropic 都说明了申请更高限制的途径。
BroadNet Inference 适合什么场景
BroadRouter 是 BroadNet 自己的网站,阅读本节时请考虑到这一点。如果你要在一个密钥上跑非常高的请求速率,BroadNet Inference 不是合适的选择:它公布的单密钥限制远低于 OpenAI、Anthropic、Fireworks 或 Cerebras 的付费档。它适合一次只发送几个请求的智能体和聊天负载,尤其是固定价格套餐:繁忙的智能体既不计 token,也没有每日上限。新账户可获得 $5 初始额度,可用于 Gemma 4 VL 26B、两个转写模型和 Gemma 按小时密钥;DeepSeek、GLM 和 Qwen 需要充值。自助服务不提供 SLA。查看 API 限制或比较套餐。
