BroadRouter
开始使用

大模型 API 费用控制:预算、密钥限制与死循环防护

BroadNet Inference 团队 · 阅读约 5 分钟 · 发布于 · 更新于

分层控制大模型 API 费用:用预付余额作为账户上限,每个应用一个密钥并锁定到你的服务器 IP,每个请求都设 max_tokens 和步数上限,再用代码内的预算在任务超支前把它停下。按密钥记录 token,根据你自己的数据告警。固定价格套餐和按小时密钥能锁定最坏情况。

大多数大模型账单的意外都出于同一个原因:某个东西在无人看管的情况下不停调用 API。一个重试循环、一个无法完成的智能体、一个泄露到公开代码仓库的密钥。预算告警只会在事后通知你。本文从账户一直到单个请求,分层构建费用控制,并说明哪些部分由 BroadNet Inference 处理,哪些需要你在代码里补上。

为什么光有告警还不够?

告警是在用量记录之后,把费用和阈值进行比较。一个智能体循环每分钟可以发出几十个请求。等邮件到了,钱已经没了。把告警当作最后一道防线,把硬性停止放在发出请求的地方。

大模型费用控制分哪几层?

层级 控制手段 防止什么 在哪里设置
账户 预付余额 花费超出你充值的金额 服务商账户
密钥 每个应用或智能体一个密钥 一次泄露搭上全部 服务商门户
密钥 IP 白名单 被盗的密钥在别处使用 服务商门户
请求 max_tokens、reasoning_effort 单个超长回复 你的代码
任务 步数上限、重试上限、循环检测 失控的智能体 你的代码
任务 每个任务和每天的累计预算 许多调用累积起来的缓慢流失 你的代码或代理
报告 token 日志和告警 你不会注意到的偏移 你的日志
定价 固定价格套餐或按小时密钥 token 计量本身 选择套餐

账户层:预付余额如何限制费用?

BroadNet Inference 的按量付费密钥从预付的账户余额中扣费;新账户自带 $5 额度,无需绑卡。按量付费额度用完时,请求返回 401;余额不足以支付的购买(例如按小时密钥)返回 402 insufficient_balance。把两者都当作停止信号,而不是可以重试的错误。BroadNet 的错误参考还把消费限额列为 429 的原因之一,所以重试任何 429 之前,先读错误响应体。全部错误码,以及如何用退避处理 429。

余额就是你的外层上限。充值金额按你这个月愿意承担的损失来定,而不是按一年。要确定这个数字,先把预期流量放进大模型 API 费用计算器算一算。

密钥层:如何限制密钥泄露造成的损失?

API 密钥就是消费权限:谁拿到它,谁就能用你的余额。限制每个密钥的影响范围:

  1. **每个应用、智能体或环境一个密钥。**BroadNet 每个账户最多允许 10 个有效密钥,每个最长有效一年。给它们命名,这样日志就能告诉你是哪一个在花钱。
  2. **把密钥锁定到你的服务器。**把你的出口 IP 或 CIDR 网段加入 IP 白名单,最多 32 条。来自其他地址的请求会得到 403。
  3. **快速吊销。**吊销和白名单变更会在五秒内对新请求生效。
  4. **门户凭据不要放在服务器上。**门户凭据可以创建密钥和进行购买,推理密钥只能调用模型。

用 IP 白名单锁定 API 密钥。

请求层:如何为每个回复设上限?

每次调用都设置 max_tokens。在思考模型(DeepSeek V4.1 Flash、GLM 5.3、Qwen3.8 27B)上,请保持在 1,000 或以上,因为思考和回答共用这个预算,设得太低会返回空回复,而你照样要付钱。简单任务就调低 reasoning_effort。思考 token 如何计费。

任务层:如何阻止失控的智能体循环?

失控循环有明显的迹象:同一个工具调用反复出现、上下文每一轮都在增长、错误被无限制地重试。在客户端外面套一层防护:

import json, os, urllib.request
from openai import OpenAI

# Per-1M prices from BroadNet's machine-readable rate card
card = json.load(urllib.request.urlopen("https://inference.broadnet.ai/pricing.json"))
m = next(x for x in card["models"] if x["id"] == "broadnet/deepseek-v4.1-flash")
PRICE = {"in": m["input_per_m"], "cached": m["cached_input_per_m"], "out": m["output_per_m"]}
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"], max_retries=3)

class BudgetExceeded(Exception): pass

class Guard:
    def __init__(self, budget_usd, max_steps=40):
        self.budget, self.max_steps, self.spent, self.steps, self.last = budget_usd, max_steps, 0.0, 0, []

    def call(self, **kw):
        self.steps += 1
        if self.steps > self.max_steps: raise BudgetExceeded("step cap")
        if self.spent >= self.budget: raise BudgetExceeded("budget")
        r = client.chat.completions.create(max_tokens=kw.pop("max_tokens", 4000), **kw)
        u = r.usage
        cached = (u.prompt_tokens_details.cached_tokens or 0) if u.prompt_tokens_details else 0
        self.spent += ((u.prompt_tokens - cached) * PRICE["in"] + cached * PRICE["cached"]
                       + u.completion_tokens * PRICE["out"]) / 1e6
        calls = [(t.function.name, t.function.arguments) for t in (r.choices[0].message.tool_calls or [])]
        self.last = (self.last + [calls])[-3:]
        if calls and len(self.last) == 3 and all(c == calls for c in self.last):
            raise BudgetExceeded("same tool call three times")
        return r

这个防护从价目表读取价格,而不是写死在代码里,所以价格变化时它依然正确。传给 call() 的模型要和你计价所用的模型一致。max_retries 保持较小:OpenAI SDK 本身已经会重试 429 和 5xx,而每次重试都会再次计费。

对于团队,把同样的检查放到共享代理里运行,让每个服务都从同一个每日预算中扣除。重试也会撞上速率限制:速率限制计算器能告诉你,你的密钥每分钟实际允许多少次调用。

报告层:应该记录什么、对什么告警?

每个请求都记录:密钥别名、功能或智能体名称、模型、prompt_tokens、prompt_tokens_details.cached_tokens、completion_tokens、状态和 X-Request-ID。使用流式输出时,请设置 stream_options: {"include_usage": true},否则永远拿不到 usage(流式输出指南)。

根据这些日志,在以下情况告警:

  • 每个密钥的每日费用超出你费用估算中的预期数字;
  • 每个任务的 token 数超过中位数的三倍;
  • 缓存占比下降,这会在流量不变的情况下推高费用;
  • 429 或 5xx 响应比例上升,这意味着在重试。

BroadNet 只保存不含内容的记录,例如耗时、token 数和费用,不保存提示词,所以按功能划分的细节只存在于你自己的日志里。如果你的数据政策禁止,就不要记录提示词内容。如何构建按用户和功能计费的用量日志。

定价层:什么时候固定价格比预算更好?

最可靠的费用控制,是一个不会变动的价格:

  • 套餐会话:每月 $60(Full Moon)、每周 $15(Orbit)或每小时 $1(Meteor),不限量使用 DeepSeek V4.1 Flash,一次处理一个请求。套餐密钥上的请求从不扣除你的余额。
  • 按小时密钥:$0.50 使用一小时 Gemma 4 VL 26B,单路流。适合会离开你服务器的密钥。按小时密钥详解。

套餐上的死循环浪费的是时间,而不是钱。你仍然需要步数上限,因为卡住的智能体会占用会话,耽误其他工作。套餐是否比按量计费更便宜取决于用量;固定价格与按 token 计费计算器会根据你的 token 构成给出盈亏平衡点。

按 token 的单价也可能在你不知不觉中上涨。52 次有存档的大模型 API 涨价展示了这种情况有多频繁、发生在哪些服务商、涨了多少。

简短检查清单

  1. 预付余额按你的月度上限来充值。
  2. 每个应用一个有名称的密钥,并配置 IP 白名单。
  3. 每个请求都设置 max_tokens。
  4. 每个智能体都有步数上限、重试上限和重复调用检测。
  5. 每个任务的累计费用,在每次调用前检查。
  6. 每个请求都记录 token,并按你的阈值告警。
  7. 只要用量是持续的,或者密钥会暴露在外,就用固定价格套餐或按小时密钥。

BroadNet Inference 适合什么场景

BroadNet 提供账户层和密钥层:预付余额、独立密钥、可在数秒内吊销的 IP 白名单,以及固定价格套餐和按小时密钥。它不提供本文中的任务级预算;那些应该放在你的代码或代理里。如果你需要跨多个服务商的团队预算,在它们前面加一个网关才是合适的工具。查看价格。

常见问题

怎么给大模型 API 设置消费上限?

用服务商的预付余额或消费限额作为外层上限,然后在每个请求之前,在代码里执行你自己的单任务和每日预算,因为服务商的限额和告警可能跟不上快速运行的循环。

怎么防止 AI 智能体跑出巨额账单?

限制每个任务的步数和重试次数,每个请求都设置 max_tokens,检测重复的相同工具调用,并在累计费用超过预算时停止任务。

余额用完时遇到 401 或 402 错误,要重试吗?

不要。在 BroadNet 上,按量付费额度用完会返回 401,402 insufficient_balance 表示账户余额不足以支付按小时密钥之类的购买。请先给账户充值。应该带退避重试的是 429 和 5xx。

要跟踪大模型费用,应该记录哪些内容?

每个请求记录密钥别名、功能或智能体名称、模型、prompt_tokens、cached_tokens、completion_tokens、状态码和请求 ID。再乘以价格文件中的单价,就得到费用。

固定价格套餐算是一种费用控制吗?

算。一个套餐会话或按小时密钥无论用多少 token 价格都一样,所以死循环浪费的是时间,而不是钱。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity