BroadRouter

各家大模型 API 速率限制对比:RPM、TPM 与并发

BroadNet Inference 团队 · 阅读约 8 分钟 · 发布于 · 更新于

各家大模型 API 的速率限制不只是数值不同,限制的对象也不同。OpenAI、Anthropic 和 Gemini 按使用档位限制每分钟请求数和 token 数;DeepSeek 和 DeepInfra 限制并发请求数;Groq 和 Cerebras 的免费档还有每日上限。在第一个付费档位,OpenAI 和 Anthropic 每分钟允许数千个请求;BroadNet 按量付费密钥为每分钟 30 个。

搜索“大模型 API 速率限制”,你会看到许多互相矛盾的博客表格,原因往往是它们抄了过时的数字。本页的每个数字都在 2026 年 11 月 15 日从服务商自己的文档中读取,注明适用的档位和模型;服务商没有公布的,单元格就留空。同样的数据(连同免费额度和数据使用条款)也可以作为数据集下载,见大模型 API 免费档与速率限制。BroadRouter 是 BroadNet 自己的网站,BroadNet 的限制也列在表中。

RPM、TPM、RPD 和并发分别是什么意思?

速率限制规定你在一个时间窗口内最多能发送多少。各家统计的对象不同:

限制 统计什么 什么时候最容易撞上
RPM,每分钟请求数 一分钟内发起的请求 你发送大量短调用(分类、类似 embeddings 的循环)
RPS,每秒请求数 同上,但窗口是一秒 你突发地发送请求,即使分钟平均值不高
TPM,每分钟 token 数 一分钟内处理的 token,有时输入(ITPM)和输出(OTPM)分开计算 你发送长提示词或长文档
RPD / TPD,每日 一天内的请求数或 token 数 你在免费档上跑批处理任务
并发 同一时刻正在进行的请求 请求很慢:思考(reasoning)、长输出、智能体

哪个限制先卡住你,取决于请求的形态。在并发限制下,吞吐量取决于请求时长:DeepInfra 自己的文档举例说,200 个并发请求、平均耗时 1 秒,大约相当于 12,000 RPM。同样的并发下,一个耗时 30 秒的思考请求只能达到其中的一小部分。

大多数服务商实际执行限制的时间窗口,也比公布的更短。Anthropic 说 60 RPM 的限制 “might be enforced as 1 request per second”(译文:可能会按每秒 1 个请求来执行);xAI 则从每分钟预算推算每秒限制(“RPM / 48, with a minimum of 2”,译文:RPM 除以 48,最少为 2)。

使用档位是怎么运作的?

大型闭源模型服务商会随着你的消费提高限制:

服务商 档位(2026-11-15 核实) 如何升档
OpenAI Free、Build、Launch、Grow Free:用户必须位于允许的地区,每月使用上限 USD 100(是消费上限,不是赠送额度)。之后依次为累计购买额度 USD 5、USD 100 和 USD 500,每月使用上限分别为 USD 500、USD 5,000 和 USD 200,000
Anthropic Evaluation、Start、Build、Scale、Custom 根据使用记录和账户状况自动升档。每月支出上限:Start USD 500,Build USD 1,000,Scale USD 200,000
Google Gemini API Free、Tier 1、Tier 2、Tier 3 Tier 1 需要绑定结算账户;Tier 2 需要已付 USD 100 且满 3 天;Tier 3 需要 USD 1,000 且满 30 天。Google 表示所列速率限制 “not guaranteed”(译文:不作保证),对提额申请也 “no guarantees”(译文:不作任何保证)
Fireworks AI Tier 1 到 Tier 4 Tier 1 需要绑定付款方式,之后依次为消费或额度达到 USD 50、USD 500 和 USD 5,000。升档提高的是 TPM,不是 RPM
xAI Tier 0 到 Tier 4、Enterprise 自 2026 年 1 月 1 日起的累计消费:USD 0、50、250、1,000 和 5,000

实际使用中有两个细节很重要。Anthropic 的支出上限一旦达到,会返回 HTTP 429,而且不带 retry-after 头,所以自动重试会一直失败,直到当月重置或你升档。另外,Anthropic 的输入限制只统计未缓存的输入:缓存读取不计入,所以缓存命中率高,实际吞吐量也会更高。

各家大模型 API 速率限制:入门档位

下表是各服务商免费档或第一个付费档的数字,取自各自的速率限制页面。短横线表示该页面没有公布这项限制的数字,并不代表无限制。

服务商 档位和模型 RPM TPM 每日 并发
OpenAI Build;Astra、Sol、Terra 5,000 1,000,000 – –
OpenAI Build;Luna 5,000 2,000,000 – –
Anthropic Start;Sonnet 5.5、Opus 5.5、Haiku 5.5 4,000 输入 2,000,000(未缓存),输出 400,000 – –
Google Gemini API Free;Gemini Decision 1(页面上唯一给出免费数字的模型) 200 50,000 10,000 个请求 –
Google Gemini API Tier 1;Gemini Decision 1 1,500 1,000,000 50,000 个请求 –
Groq 免费计划表格;openai/gpt-oss-120b、qwen/qwen3.8-27b 30 8,000 1,000 个请求、200,000 个 token –
Groq 开发者计划(Developer)表格;openai/gpt-oss-120b、qwen/qwen3.8-27b 1,000 250,000 500,000 个请求 –
Cerebras Free Trial;gpt-oss-120b 5 未缓存 30,000(总计 90,000) 1,000,000 个 token –
Cerebras Developer(按量付费);gpt-oss-120b 1,000 未缓存 500,000(总计 1,500,000) 无上限 –
Fireworks AI 未绑定付款方式、无额度;按整个账户 10 – – –
Fireworks AI 已绑定付款方式并有额度;按整个账户 6,000 由消费档位决定 – –
DeepInfra 默认;每个公共模型 – – – 200
DeepSeek 默认;deepseek-flash (DeepSeek-V4.1-Flash-1017),每个账户 – – – 2,500
DeepSeek 默认;deepseek-v4-pro (DeepSeek-V4-Pro-0813),每个账户 – – – 500
xAI Tier 0;grok-4.7 (150 RPS) – 50,000,000 – –
OpenRouter :free 模型,购买额度少于 USD 10 20 – 50 个请求 –
OpenRouter :free 模型,购买额度达到 USD 10 或以上 20 – 1,000 个请求 –
Cohere 试用密钥;Command A 20 – 每月 1,000 次调用 –
Cohere 生产密钥;Command A 500 – – –
BroadNet Inference 按量付费密钥;任意模型 30 – – 4
BroadNet Inference 按小时密钥;Gemma 4 VL 26B 120 300,000 – 1 路流
BroadNet Inference 固定价格套餐会话;DeepSeek V4.1 Flash – 不计 token – 同一时间 1 个请求

关于表中各行的说明:

  • Groq。 该页面有两个标签页:“Free Plan Limits”(译文:免费计划限制,默认打开)和 “Developer Plan Limits”(译文:开发者计划限制)。上方的句子把这些数字称为 “the base limits for the Developer plan”(译文:开发者计划的基础限制),这只适用于第二个标签页;上表列出了两者。你所在组织的确切限制以其限制页面为准。
  • Google。 限制按项目计算,而不是按 API 密钥。大多数模型的数字只在 AI Studio 内显示。Gemini Decision 1 是 Google Decisions API 专用的分类模型,返回的是概率而不是文本,因此它的限制很难反映 Gemini 对话模型的限制。
  • Mistral 和 Together AI 没有公布数字。Mistral 在控制台中显示你的限制,而不是公布表格,并且不提供免费的 API 访问(“It doesn’t include API access”,译文:不包括 API 访问)。Together 表示在需求高时 “may limit requests”(译文:可能会限制请求),并可能对热门模型设置自定义限制。
  • OpenRouter。 付费模型版本 “no platform-level request cap”(译文:没有平台级的请求上限),但每个模型背后的服务商仍有各自的限制。
  • DeepSeek。 繁忙时,DeepSeek 会用空行或 : keep-alive 注释保持连接,如果 10 分钟内推理仍未开始,就会关闭连接。设置客户端超时时要考虑到这一点。

坦白说,BroadNet 的限制处于什么水平?

对大批量工作来说偏低。BroadNet 按量付费密钥每分钟允许 30 个请求、同时 4 个请求;而 OpenAI 和 Anthropic 的第一个付费档每分钟就允许数千个请求,Fireworks 绑卡后允许 6,000 个。如果你需要通过一个密钥每分钟发送数千个短请求,大型服务商的付费档更合适。

这些限制适合其他形态的负载:

  • 智能体和聊天。 一个智能体同一时间只发送一个请求,然后等待。同时 4 个请求足够一个密钥支撑几个智能体;每个应用或每位同事各用一个密钥,可以分散负载。
  • 固定价格套餐。 Full Moon、Orbit 或 Meteor 的会话不计 token,也没有每日或每周上限,但同一时间只运行一个请求,典型速度为 约每秒 100 个 token。要并行运行多个智能体,就为每个智能体各买一个会话。参见你需要多少个会话。
  • 按小时密钥。 $0.50 可以买到一小时的 Gemma 4 VL 26B 一路流,每分钟 120 个请求、300,000 个 token。

BroadNet 的所有限制在超出时都返回 HTTP 429。API 参考没有给出 retry-after 的时间,所以请使用有上限、带抖动的退避。

怎样围绕速率限制做规划?

  1. 找出真正卡住你的限制。 按高峰流量算出每分钟请求数、每分钟 token 数和同时请求数。大模型速率限制计算器可以根据请求大小和延迟算出这些数字。
  2. 在客户端限流。 用与公布限制一致的令牌桶,就能避免大部分 429。Anthropic 在服务端用的也是这种算法。
  3. 读取响应头。 Anthropic 返回 anthropic-ratelimit-* 头;Groq 返回 x-ratelimit-* 头,其中请求数的头 “always refers to Requests Per Day”(译文:始终指每日请求数)。有 retry-after 时就按它来。
  4. 用带抖动的退避重试,并限制重试次数。 处理 429 错误一文有可用的代码,错误与重试指南介绍了 BroadNet 的状态码。
  5. 缓存稳定的前缀。 在 Anthropic,缓存的输入不计入输入限制。在任何平台,缓存都能降低成本。
  6. 分散批量任务。 Anthropic 还有爬坡限制:流量突然激增,即使还没到上限也可能返回 429。批处理任务要慢慢加量。没有 Batch API 时,可续跑的批处理程序能让任务保持在限制之内。
  7. 申请提高限制。 DeepSeek、DeepInfra、Mistral 和 Anthropic 都说明了申请更高限制的途径。

BroadNet Inference 适合什么场景

BroadRouter 是 BroadNet 自己的网站,阅读本节时请考虑到这一点。如果你要在一个密钥上跑非常高的请求速率,BroadNet Inference 不是合适的选择:它公布的单密钥限制远低于 OpenAI、Anthropic、Fireworks 或 Cerebras 的付费档。它适合一次只发送几个请求的智能体和聊天负载,尤其是固定价格套餐:繁忙的智能体既不计 token,也没有每日上限。新账户可获得 $5 初始额度,可用于 Gemma 4 VL 26B、两个转写模型和 Gemma 按小时密钥;DeepSeek、GLM 和 Qwen 需要充值。自助服务不提供 SLA。查看 API 限制或比较套餐。

常见问题

OpenAI API 第一个付费档位的速率限制是多少?

OpenAI 的速率限制指南(2026 年 11 月 15 日核实)规定 Build 档需要累计购买 USD 5 的额度,每月使用上限为 USD 500。Build 档在 Astra、Sol 和 Terra 上允许 5,000 RPM 和 1,000,000 TPM,在 Luna 上允许 5,000 RPM 和 2,000,000 TPM。限制按组织和项目分别计算。

Anthropic(Claude)API 的速率限制是多少?

在 Start 档,Claude Sonnet 5.5、Opus 5.5 和 Haiku 5.5 各自允许 4,000 RPM、每分钟 2,000,000 个输入 token 和每分钟 400,000 个输出 token(2026 年 11 月 15 日核实)。只有未缓存的输入计入输入限制。新组织可能从更低的 Evaluation 档开始。

Groq 免费版的速率限制是多少?

Groq 公布的表格(2026 年 11 月 15 日核实)显示,openai/gpt-oss-120b 和 qwen/qwen3.8-27b 为每分钟 30 个请求、每天 1,000 个请求、每分钟 8,000 个 token、每天 200,000 个 token。Groq 提示,你所在组织的确切限制以其限制页面为准。开发者计划表格显示,同样的模型为每分钟 1,000 个请求、每天 500,000 个请求、每分钟 250,000 个 token。

DeepSeek API 有速率限制吗?

有,以并发的形式。DeepSeek 在 deepseek-flash 上每个账户允许 2,500 个并发请求,在 deepseek-v4-pro 上允许 500 个,超出时返回 HTTP 429。可以申请更高的限制,不额外收费(2026 年 11 月 15 日核实)。

RPM、TPM 和并发有什么区别?

RPM 统计每分钟发起的请求数。TPM 统计每分钟处理的 token 数,有时输入和输出分开计算。并发统计同一时刻正在进行的请求数,所以即使 RPM 很低,长请求也会把它占满。

BroadNet Inference 的速率限制是多少?

按量付费密钥每分钟允许 30 个请求、同时 4 个请求。按小时密钥在 Gemma 4 VL 26B 上允许每分钟 120 个请求、每分钟 300,000 个 token 和 1 路流。固定价格套餐的会话同一时间运行一个请求。超出任何一项都会返回 HTTP 429。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity