大多数大模型账单的意外都出于同一个原因:某个东西在无人看管的情况下不停调用 API。一个重试循环、一个无法完成的智能体、一个泄露到公开代码仓库的密钥。预算告警只会在事后通知你。本文从账户一直到单个请求,分层构建费用控制,并说明哪些部分由 BroadNet Inference 处理,哪些需要你在代码里补上。
为什么光有告警还不够?
告警是在用量记录之后,把费用和阈值进行比较。一个智能体循环每分钟可以发出几十个请求。等邮件到了,钱已经没了。把告警当作最后一道防线,把硬性停止放在发出请求的地方。
大模型费用控制分哪几层?
| 层级 | 控制手段 | 防止什么 | 在哪里设置 |
|---|---|---|---|
| 账户 | 预付余额 | 花费超出你充值的金额 | 服务商账户 |
| 密钥 | 每个应用或智能体一个密钥 | 一次泄露搭上全部 | 服务商门户 |
| 密钥 | IP 白名单 | 被盗的密钥在别处使用 | 服务商门户 |
| 请求 | max_tokens、reasoning_effort |
单个超长回复 | 你的代码 |
| 任务 | 步数上限、重试上限、循环检测 | 失控的智能体 | 你的代码 |
| 任务 | 每个任务和每天的累计预算 | 许多调用累积起来的缓慢流失 | 你的代码或代理 |
| 报告 | token 日志和告警 | 你不会注意到的偏移 | 你的日志 |
| 定价 | 固定价格套餐或按小时密钥 | token 计量本身 | 选择套餐 |
账户层:预付余额如何限制费用?
BroadNet Inference 的按量付费密钥从预付的账户余额中扣费;新账户自带 $5 额度,无需绑卡。按量付费额度用完时,请求返回 401;余额不足以支付的购买(例如按小时密钥)返回 402 insufficient_balance。把两者都当作停止信号,而不是可以重试的错误。BroadNet 的错误参考还把消费限额列为 429 的原因之一,所以重试任何 429 之前,先读错误响应体。全部错误码,以及如何用退避处理 429。
余额就是你的外层上限。充值金额按你这个月愿意承担的损失来定,而不是按一年。要确定这个数字,先把预期流量放进大模型 API 费用计算器算一算。
密钥层:如何限制密钥泄露造成的损失?
API 密钥就是消费权限:谁拿到它,谁就能用你的余额。限制每个密钥的影响范围:
- **每个应用、智能体或环境一个密钥。**BroadNet 每个账户最多允许 10 个有效密钥,每个最长有效一年。给它们命名,这样日志就能告诉你是哪一个在花钱。
- **把密钥锁定到你的服务器。**把你的出口 IP 或 CIDR 网段加入 IP 白名单,最多 32 条。来自其他地址的请求会得到 403。
- **快速吊销。**吊销和白名单变更会在五秒内对新请求生效。
- **门户凭据不要放在服务器上。**门户凭据可以创建密钥和进行购买,推理密钥只能调用模型。
请求层:如何为每个回复设上限?
每次调用都设置 max_tokens。在思考模型(DeepSeek V4.1 Flash、GLM 5.3、Qwen3.8 27B)上,请保持在 1,000 或以上,因为思考和回答共用这个预算,设得太低会返回空回复,而你照样要付钱。简单任务就调低 reasoning_effort。思考 token 如何计费。
任务层:如何阻止失控的智能体循环?
失控循环有明显的迹象:同一个工具调用反复出现、上下文每一轮都在增长、错误被无限制地重试。在客户端外面套一层防护:
import json, os, urllib.request
from openai import OpenAI
# Per-1M prices from BroadNet's machine-readable rate card
card = json.load(urllib.request.urlopen("https://inference.broadnet.ai/pricing.json"))
m = next(x for x in card["models"] if x["id"] == "broadnet/deepseek-v4.1-flash")
PRICE = {"in": m["input_per_m"], "cached": m["cached_input_per_m"], "out": m["output_per_m"]}
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"], max_retries=3)
class BudgetExceeded(Exception): pass
class Guard:
def __init__(self, budget_usd, max_steps=40):
self.budget, self.max_steps, self.spent, self.steps, self.last = budget_usd, max_steps, 0.0, 0, []
def call(self, **kw):
self.steps += 1
if self.steps > self.max_steps: raise BudgetExceeded("step cap")
if self.spent >= self.budget: raise BudgetExceeded("budget")
r = client.chat.completions.create(max_tokens=kw.pop("max_tokens", 4000), **kw)
u = r.usage
cached = (u.prompt_tokens_details.cached_tokens or 0) if u.prompt_tokens_details else 0
self.spent += ((u.prompt_tokens - cached) * PRICE["in"] + cached * PRICE["cached"]
+ u.completion_tokens * PRICE["out"]) / 1e6
calls = [(t.function.name, t.function.arguments) for t in (r.choices[0].message.tool_calls or [])]
self.last = (self.last + [calls])[-3:]
if calls and len(self.last) == 3 and all(c == calls for c in self.last):
raise BudgetExceeded("same tool call three times")
return r
这个防护从价目表读取价格,而不是写死在代码里,所以价格变化时它依然正确。传给 call() 的模型要和你计价所用的模型一致。max_retries 保持较小:OpenAI SDK 本身已经会重试 429 和 5xx,而每次重试都会再次计费。
对于团队,把同样的检查放到共享代理里运行,让每个服务都从同一个每日预算中扣除。重试也会撞上速率限制:速率限制计算器能告诉你,你的密钥每分钟实际允许多少次调用。
报告层:应该记录什么、对什么告警?
每个请求都记录:密钥别名、功能或智能体名称、模型、prompt_tokens、prompt_tokens_details.cached_tokens、completion_tokens、状态和 X-Request-ID。使用流式输出时,请设置 stream_options: {"include_usage": true},否则永远拿不到 usage(流式输出指南)。
根据这些日志,在以下情况告警:
- 每个密钥的每日费用超出你费用估算中的预期数字;
- 每个任务的 token 数超过中位数的三倍;
- 缓存占比下降,这会在流量不变的情况下推高费用;
- 429 或 5xx 响应比例上升,这意味着在重试。
BroadNet 只保存不含内容的记录,例如耗时、token 数和费用,不保存提示词,所以按功能划分的细节只存在于你自己的日志里。如果你的数据政策禁止,就不要记录提示词内容。如何构建按用户和功能计费的用量日志。
定价层:什么时候固定价格比预算更好?
最可靠的费用控制,是一个不会变动的价格:
- 套餐会话:每月 $60(Full Moon)、每周 $15(Orbit)或每小时 $1(Meteor),不限量使用 DeepSeek V4.1 Flash,一次处理一个请求。套餐密钥上的请求从不扣除你的余额。
- 按小时密钥:$0.50 使用一小时 Gemma 4 VL 26B,单路流。适合会离开你服务器的密钥。按小时密钥详解。
套餐上的死循环浪费的是时间,而不是钱。你仍然需要步数上限,因为卡住的智能体会占用会话,耽误其他工作。套餐是否比按量计费更便宜取决于用量;固定价格与按 token 计费计算器会根据你的 token 构成给出盈亏平衡点。
按 token 的单价也可能在你不知不觉中上涨。52 次有存档的大模型 API 涨价展示了这种情况有多频繁、发生在哪些服务商、涨了多少。
简短检查清单
- 预付余额按你的月度上限来充值。
- 每个应用一个有名称的密钥,并配置 IP 白名单。
- 每个请求都设置
max_tokens。 - 每个智能体都有步数上限、重试上限和重复调用检测。
- 每个任务的累计费用,在每次调用前检查。
- 每个请求都记录 token,并按你的阈值告警。
- 只要用量是持续的,或者密钥会暴露在外,就用固定价格套餐或按小时密钥。
BroadNet Inference 适合什么场景
BroadNet 提供账户层和密钥层:预付余额、独立密钥、可在数秒内吊销的 IP 白名单,以及固定价格套餐和按小时密钥。它不提供本文中的任务级预算;那些应该放在你的代码或代理里。如果你需要跨多个服务商的团队预算,在它们前面加一个网关才是合适的工具。查看价格。
