护栏是你包裹在模型外面的检查,让有问题的输入或输出止步于你的代码,而不是到达你的用户。
工作原理
OpenAI Agents SDK 把护栏描述为 “checks and validations of user input and agent output”(译文:对用户输入和智能体输出的检查与校验),并定义了三类:
| 类型 | 运行时机 | 典型检查 |
|---|---|---|
| 输入 | 在第一次模型调用之前或同时 | 偏题、辱骂或被注入的请求 |
| 输出 | 在最终回答之后 | 泄露机密、违反政策、格式错误 |
| 工具 | 在函数工具运行之前和之后 | 参数在范围内、没有破坏性操作 |
检查不通过时,“tripwire”(触发器)会抛出异常并停止运行。输入检查可以是阻塞式的(主模型根本不会启动),也可以是并行的(延迟更低,但 tripwire 触发时,token 和工具调用可能已经花掉了)。
NVIDIA 的开源 NeMo Guardrails 库分五个阶段:输入、检索、对话、执行和输出护栏。Anthropic 的文档建议使用 “harmlessness screen”(译文:无害性筛查):用一个小而快的模型,在用户输入进入主对话之前先做分类,并配合结构化输出,让判定结果是可解析的 true 或 false。
并不是每个护栏都需要模型。正则过滤、允许列表、JSON Schema 校验和长度限制既便宜又确定。
为什么重要
- 安全。 护栏是防御提示词注入和越狱的一层。没有哪一层能单独挡住所有攻击。
- 费用。 一个便宜的筛查可以在昂贵的模型读取 100,000 token 上下文之前就拒绝请求。
- 智能体。 会发邮件或修改数据的智能体需要工具层面的检查,高风险步骤还需要人工审批,而不只是对最终文本做过滤。
- 要测量。 拦截正常请求的护栏就是 bug。用评测集跟踪误报。
在 BroadNet Inference 上
BroadNet 的文档没有列出护栏、审核端点或内容过滤。把护栏当作你的应用的职责。常见做法是先在 BroadNet Gemma 4 VL 26B 这样较小的模型上做筛查(每 1M 输入 token $0.10),然后在较大的模型上执行主调用。如果输入包含个人数据,请参见向大模型 API 发送敏感数据。