BroadRouter
开始使用

如何测试大模型的敏感数据安全:BroadNet 的方法

BroadNet Inference 团队 · 阅读约 3 分钟 · 发布于

BroadNet 2026 年 4 月的预印本(DOI 10.5281/zenodo.19574049,SSRN 上也有)提出了一套部署前的敏感数据安全测试:把凭据、个人信息、健康数据和金融数据四个类别分开测试,把泄露和漏检作为不同的失败分别计分,采用二元评分,每项测试至少运行三次。在其测试中,提示词规则和用反例微调反而让泄露更严重。

Cards reading Name and Email turning into the placeholders [PERSON] and [EMAIL], with the text "Redact. Process. Restore." and "LSDF by BroadNet".

BroadNet 的研究部门发布了一套实用方法,用于在部署前测试大语言模型是否会泄露敏感数据。预印本 How to Evaluate an LLM for Sensitive Data Safety Before Deploying It(如何在部署前评估大模型的敏感数据安全)发布在 Zenodo 上,DOI 为 10.5281/zenodo.19574049,日期为 2026 年 4 月 14 日,SSRN 上有镜像。其 Zenodo 记录列出的作者为 Mohammad Al Zubaidi。

本页总结这套方法及其发现。这是 BroadNet 的工作,发现也出自 BroadNet;我们没有重新运行。

为什么常规基准测不出这个问题?

公开基准衡量的是能力:模型在最佳状态下能做什么。而一个被部署去审计配置文件或临床记录的模型,还必须做到不做某件事:不复述它发现的机密。论文的例子说明了这一点:一个模型在 99 个任务上得 95 分,却在第 100 个任务上原样输出了 API 密钥,平均分是 94,但在生产环境中仍然不能用。

BroadNet 把这称为测试“下限”而不是“上限”,论文把“capability and constraint”(译文:能力与约束)视为相互独立的两个维度。

这套方法测试什么?

四个类别,各自单独测试:

类别 示例 模型如何识别
凭据 API 密钥、令牌、SSH 密钥、数据库密码 主要靠格式;连接字符串里的密码没有格式线索
个人身份信息(PII) 姓名、邮箱、电话号码、政府证件号 结构化证件号靠格式,自由文本靠语义
受保护健康信息(PHI) 诊断、处方、临床记录 常常靠上下文:姓名旁边出现诊断
金融数据 账号、余额、交易记录 靠格式,但较少被当作敏感数据对待

摘要报告测试了“24+ models across 6 model families”(译文:6 个模型家族中的 24 个以上模型),并发现了清晰的层级:基于格式的识别(如结构化凭据和社会安全号码)远比基于上下文的识别(如在诊断旁边才变得敏感的姓名)可靠。一个凭据泄露率为 0% 的模型,在每一次 PHI 测试运行中都泄露了患者标识信息。

结果应该怎样计分?

论文提出了一个最低限度的流程:

  1. 二元评分。 每次运行要么安全、要么不安全;“基本安全”的回答不给部分分。
  2. 泄露和漏检分别计分。 合并成一个数字,会掩盖对你的场景真正要紧的那一项。
  3. 多次运行。 每个模型、每个探针运行三次或更多,因为同一个模型可能今天通过、明天就泄露。
  4. 逐类别测试。 凭据上安全,不能说明健康记录上也安全。

BroadNet 面向从业者的文章补充了它在试点项目中使用的操作规则:只使用合成数据;测试完整的部署配置(包括系统提示词、工具和检索);上生产前要求连续五次运行都干净;自托管模型每月重测,频繁更新的第三方模型每周重测。

哪些做法不管用?

两种常见的修补办法在 BroadNet 的测试中反而让情况更糟:

  • 提示词指令。 加上“不要泄露凭据”有时会被忽略,而最强硬的提示策略让一个基线干净的模型出现了泄露。
  • 用反例微调。 训练模型拒绝某个类别,泄露率不降反升。

据 BroadNet 的说法,真正有效的是三层措施组合:针对该类别选择风险较低的模型;用确定性工具过滤输出(它提到了 Microsoft Presidio 和 LLM Guard);在任务不需要具体数值时,在构建提示词之前先对输入脱敏。我们的向大模型 API 发送敏感数据指南用代码演示了脱敏步骤。

论文没有公开什么?

根据其负责任发布政策,BroadNet 公开了类别、评分理念、样本量和注意事项,但没有公开具体的提示词模板、凭据格式以及通过和失败的阈值。理由是:公开这些会降低实施提取攻击的难度,而部署方却没有相应的防御手段。模型提供方和安全研究人员可以申请获取。因此,这套方法在形式上可以复现,但具体数字无法一一对照。

这和 BroadNet Inference 有什么关系?

这是对模型的测试,而不是对服务商的测试。它适用于任何 API 上的任何模型,包括 BroadNet Inference 上的模型。配套论文 Safety Map 把这套方法用于 14 家实验室的 39 个模型,发现敏感值还可能通过工具调用参数和思考字段泄露出去。BroadNet 随后发布了基于这两篇论文的开源防火墙 LSDF,Safety Map 的总结中有介绍。

服务商的数据保留是另一个问题:零数据保留管的是 BroadNet 存储什么,而不是模型往你自己的系统里写了什么。

常见问题

泄露和漏检有什么区别?

泄露是模型在不该出现的地方复述了敏感值,比如把 API 密钥原样写进报告。漏检是模型在本该标记敏感值时没有标记出来。BroadNet 的方法把两者分开计分,因为它们带来的风险不同。

测试需要运行多少次?

每个探针至少三次。BroadNet 面向从业者的流程还要求,在认定模型可以上生产之前连续五次运行都干净,并且分布在至少两个自然日,以发现服务商侧的变化。

系统提示词里写“绝不泄露机密”有用吗?

并不可靠。在 BroadNet 的测试中,最强硬的提示策略让一个原本干净的模型出现了泄露,用反例微调也提高了泄露率。

能拿到 BroadNet 的具体测试提示词吗?

不公开提供。根据其负责任发布政策,BroadNet 不公开具体的提示词模板、凭据格式以及通过或失败的阈值,可应模型提供方和安全研究人员的请求提供。

有了零数据保留,还需要做这个测试吗?

需要。零数据保留管的是服务商存储什么。这个测试关注的是模型在自己的输出里写了什么,而这些输出随后会进入你的日志、工单和下游系统。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity