速率限制控制你能花得多快,消费上限控制你能花多少。
工作原理
服务商会叠加好几层上限。两个有文档可查的例子:
| 服务商 | 控制方式 | 达到后会怎样 |
|---|---|---|
| Anthropic | 按等级的每自然月消费上限(Start、Build、Scale;Custom 没有) | 暂停使用,直到下个月 1 日 00:00 UTC;返回 HTTP 429 rate_limit_error,error.details.error_code 为 enforced_spend_limit_reached,没有 retry-after |
| Anthropic | 你自己设置的更低上限,针对组织或工作区 | HTTP 400 invalid_request_error,消息以 “You have reached your specified API usage limits” 开头 |
| OpenAI | 按等级的每月用量上限 | 指南中未说明 |
| OpenAI | 消费提醒 | 发送通知;流量照常 |
| OpenAI | 硬性消费上限,针对组织或项目 | 受影响的请求返回 429 |
Anthropic 的等级上限为每月 500 美元(Start)、1,000 美元(Build)和 200,000 美元(Scale)。OpenAI 的指南按等级列出每月用量上限,从 Free 的 100 美元到 Grow 的 200,000 美元,并说累计充值金额越过门槛时等级会提升。
棘手之处在于,消费上限的 429 看起来和速率限制的 429 一样。在 Anthropic 的 API 上,可以靠错误码区分两者,而且消费上限的响应没有 retry-after 头:
err = resp.json().get("error", {})
if resp.status_code == 429 and err.get("details", {}).get("error_code") == "enforced_spend_limit_reached":
stop_job_and_alert() # retrying will not help
elif resp.status_code == 429:
backoff_and_retry()
为什么重要
- 提醒总是来得晚。 一个跑得飞快的循环,在邮件到达之前就可能花掉很多钱。硬性上限能让它停下来。
- 重试只会更糟。 对每个 429 都退避重试的客户端,会徒劳地反复撞消费上限。要把这两种情况分开处理。
- 共享上限。 多个应用共用一个账户级上限时,一个失控的任务就会拖垮其他应用。按项目设预算,或在代码里自己维护预算,能把它们隔开。
在 BroadNet Inference 上
BroadNet 的 API 参考文档为按量付费密钥列出了六项限制。约束成本和吞吐的三项是:每分钟 30 个请求、同时进行 4 个,以及花费,其定义为 “the native budget shared by the account’s pay-as-you-go keys”(译文:账户内各按量付费密钥共享的原生预算);其余三项是可用模型、一年的密钥有效期,以及每个账户最多十个有效密钥。账户采用预付费,所以余额就是最外层的上限。有两个状态码需要关注:
- 429:“A rate, concurrency, token-rate or spending limit was reached.”(译文:达到了速率、并发、token 速率或消费限制。)
- 401:密钥缺失、无效或过期,或者账户共享的按量付费预算被封禁(文档原文为 “a blocked native PAYG budget holder”(译文:被封禁的原生 PAYG 预算持有者)),“including exhausted PAYG allowance”(译文:包括 PAYG 额度已用完)。
BroadNet 的隐私页面说密钥可按模型、速率和花费限定范围,但 API 参考文档没有按密钥或按项目的预算设置,所以请在每次请求前,在自己的代码里做一次累计预算检查,做法见大模型 API 花费控制。如果想要固定的最坏情况,固定价格套餐或 $0.50 的按小时密钥,在设计上就封顶了花费。重试处理见错误码与重试指南。