BroadRouter

护栏(guardrails)

更新于

护栏是应用在调用语言模型前后运行的检查,让调用保持在设定的范围内。输入护栏筛查进入模型的内容,输出护栏检查模型产出的内容,工具护栏在操作执行前进行校验。检查不通过时,会拦截、改写或标记该请求。

又称: 大模型护栏、AI 护栏、安全护栏、输入护栏、输出护栏、内容安全过滤、guardrails、LLM guardrails、AI guardrails、input guardrails、output guardrails、safety rails

护栏是你包裹在模型外面的检查,让有问题的输入或输出止步于你的代码,而不是到达你的用户。

工作原理

OpenAI Agents SDK 把护栏描述为 “checks and validations of user input and agent output”(译文:对用户输入和智能体输出的检查与校验),并定义了三类:

类型 运行时机 典型检查
输入 在第一次模型调用之前或同时 偏题、辱骂或被注入的请求
输出 在最终回答之后 泄露机密、违反政策、格式错误
工具 在函数工具运行之前和之后 参数在范围内、没有破坏性操作

检查不通过时,“tripwire”(触发器)会抛出异常并停止运行。输入检查可以是阻塞式的(主模型根本不会启动),也可以是并行的(延迟更低,但 tripwire 触发时,token 和工具调用可能已经花掉了)。

NVIDIA 的开源 NeMo Guardrails 库分五个阶段:输入、检索、对话、执行和输出护栏。Anthropic 的文档建议使用 “harmlessness screen”(译文:无害性筛查):用一个小而快的模型,在用户输入进入主对话之前先做分类,并配合结构化输出,让判定结果是可解析的 true 或 false。

并不是每个护栏都需要模型。正则过滤、允许列表、JSON Schema 校验和长度限制既便宜又确定。

为什么重要

  • 安全。 护栏是防御提示词注入和越狱的一层。没有哪一层能单独挡住所有攻击。
  • 费用。 一个便宜的筛查可以在昂贵的模型读取 100,000 token 上下文之前就拒绝请求。
  • 智能体。 会发邮件或修改数据的智能体需要工具层面的检查,高风险步骤还需要人工审批,而不只是对最终文本做过滤。
  • 要测量。 拦截正常请求的护栏就是 bug。用评测集跟踪误报。

在 BroadNet Inference 上

BroadNet 的文档没有列出护栏、审核端点或内容过滤。把护栏当作你的应用的职责。常见做法是先在 BroadNet Gemma 4 VL 26B 这样较小的模型上做筛查(每 1M 输入 token $0.10),然后在较大的模型上执行主调用。如果输入包含个人数据,请参见向大模型 API 发送敏感数据。

常见问题

护栏是模型的一部分吗?

不是。模型有自己训练出来的拒答行为,但护栏是独立的代码或模型调用,由你的应用在主调用前后运行。检查什么由你决定。

护栏会增加延迟吗?

阻塞式输入检查会在主模型开始之前多一次调用。OpenAI Agents SDK 也可以让输入护栏并行运行,这样能节省时间,但在检查触发之前可能已经消耗了 token。

BroadNet Inference 自带护栏吗?

BroadNet 的文档没有把护栏或内容过滤列为功能。请在你的应用中自行构建,例如用一个小模型做筛查,并对输出做 schema 校验。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity