---
title: "大模型敏感数据安全评测：BroadNet 的方法 | BroadRouter"
description: "BroadNet 公开的评测方法：在部署前测试大模型是否会泄露凭据、个人信息、健康或金融数据。包括分类测试、泄露与漏检，以及至少 3 次运行。"
url: https://broadrouter.com/zh/blog/llm-sensitive-data-safety-evaluation-method/
lang: zh-Hans
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。 [阅读英文原文](https://broadrouter.com/blog/llm-sensitive-data-safety-evaluation-method/) (2026-11-15 更新).

# 如何测试大模型的敏感数据安全：BroadNet 的方法

BroadNet Inference 团队 · 阅读约 3 分钟 · 发布于 2026-11-15

BroadNet 2026 年 4 月的预印本（DOI 10.5281/zenodo.19574049，SSRN 上也有）提出了一套部署前的敏感数据安全测试：把凭据、个人信息、健康数据和金融数据四个类别分开测试，把泄露和漏检作为不同的失败分别计分，采用二元评分，每项测试至少运行三次。在其测试中，提示词规则和用反例微调反而让泄露更严重。

## 要点

-   Zenodo 预印本，DOI 10.5281/zenodo.19574049（2026 年 4 月 14 日，CC BY 4.0），SSRN 镜像为 10.2139/ssrn.6565139。未经同行评审。
-   能力基准衡量模型能做什么；这套方法衡量模型绝不能做什么。
-   两种失败模式：泄露（复述敏感值）和漏检（没有标记出敏感值）。分别计分。
-   安全性是非确定性的：每个结论都要基于 3 次或更多运行，绝不能只跑一次。
-   在 BroadNet 的测试中，强硬的提示词指令和用反例微调都提高了泄露率。

**本页内容**

1.  为什么常规基准测不出这个问题？
2.  这套方法测试什么？
3.  结果应该怎样计分？
4.  哪些做法不管用？
5.  论文没有公开什么？
6.  这和 BroadNet Inference 有什么关系？

_[image: Cards reading Name and Email turning into the placeholders [PERSON] and [EMAIL], with the text "Redact. Process. Restore." and "LSDF by BroadNet".]_

BroadNet 的研究部门发布了一套实用方法，用于在部署前测试大语言模型是否会泄露敏感数据。预印本 _How to Evaluate an LLM for Sensitive Data Safety Before Deploying It_（如何在部署前评估大模型的敏感数据安全）发布在 Zenodo 上，DOI 为 [10.5281/zenodo.19574049](https://doi.org/10.5281/zenodo.19574049)，日期为 2026 年 4 月 14 日，SSRN 上有镜像。其 Zenodo 记录列出的作者为 Mohammad Al Zubaidi。

本页总结这套方法及其发现。这是 BroadNet 的工作，发现也出自 BroadNet；我们没有重新运行。

## 为什么常规基准测不出这个问题？

公开基准衡量的是能力：模型在最佳状态下能做什么。而一个被部署去审计配置文件或临床记录的模型，还必须做到不做某件事：不复述它发现的机密。论文的例子说明了这一点：一个模型在 99 个任务上得 95 分，却在第 100 个任务上原样输出了 API 密钥，平均分是 94，但在生产环境中仍然不能用。

BroadNet 把这称为测试“下限”而不是“上限”，论文把“capability and constraint”（译文：能力与约束）视为相互独立的两个维度。

## 这套方法测试什么？

四个类别，各自单独测试：

| 类别 | 示例 | 模型如何识别 |
| --- | --- | --- |
| 凭据 | API 密钥、令牌、SSH 密钥、数据库密码 | 主要靠格式；连接字符串里的密码没有格式线索 |
| 个人身份信息（PII） | 姓名、邮箱、电话号码、政府证件号 | 结构化证件号靠格式，自由文本靠语义 |
| 受保护健康信息（PHI） | 诊断、处方、临床记录 | 常常靠上下文：姓名旁边出现诊断 |
| 金融数据 | 账号、余额、交易记录 | 靠格式，但较少被当作敏感数据对待 |

摘要报告测试了“24+ models across 6 model families”（译文：6 个模型家族中的 24 个以上模型），并发现了清晰的层级：基于格式的识别（如结构化凭据和社会安全号码）远比基于上下文的识别（如在诊断旁边才变得敏感的姓名）可靠。一个凭据泄露率为 0% 的模型，在每一次 PHI 测试运行中都泄露了患者标识信息。

## 结果应该怎样计分？

论文提出了一个最低限度的流程：

1.  **二元评分。** 每次运行要么安全、要么不安全；“基本安全”的回答不给部分分。
2.  **泄露和漏检分别计分。** 合并成一个数字，会掩盖对你的场景真正要紧的那一项。
3.  **多次运行。** 每个模型、每个探针运行三次或更多，因为同一个模型可能今天通过、明天就泄露。
4.  **逐类别测试。** 凭据上安全，不能说明健康记录上也安全。

BroadNet 面向从业者的文章补充了它在试点项目中使用的操作规则：只使用合成数据；测试完整的部署配置（包括系统提示词、工具和检索）；上生产前要求连续五次运行都干净；自托管模型每月重测，频繁更新的第三方模型每周重测。

## 哪些做法不管用？

两种常见的修补办法在 BroadNet 的测试中反而让情况更糟：

-   **提示词指令。** 加上“不要泄露凭据”有时会被忽略，而最强硬的提示策略让一个基线干净的模型出现了泄露。
-   **用反例微调。** 训练模型拒绝某个类别，泄露率不降反升。

据 BroadNet 的说法，真正有效的是三层措施组合：针对该类别选择风险较低的模型；用确定性工具过滤输出（它提到了 [Microsoft Presidio](https://github.com/microsoft/presidio) 和 LLM Guard）；在任务不需要具体数值时，在构建提示词之前先对输入脱敏。我们的[向大模型 API 发送敏感数据指南](https://broadrouter.com/zh/blog/llm-api-sensitive-data/)用代码演示了脱敏步骤。

## 论文没有公开什么？

根据其负责任发布政策，BroadNet 公开了类别、评分理念、样本量和注意事项，但没有公开具体的提示词模板、凭据格式以及通过和失败的阈值。理由是：公开这些会降低实施提取攻击的难度，而部署方却没有相应的防御手段。模型提供方和安全研究人员可以申请获取。因此，这套方法在形式上可以复现，但具体数字无法一一对照。

## 这和 BroadNet Inference 有什么关系？

这是对模型的测试，而不是对服务商的测试。它适用于任何 API 上的任何模型，包括 [BroadNet Inference](https://broadrouter.com/zh/models/) 上的模型。配套论文 [Safety Map](https://broadrouter.com/zh/blog/llm-safety-map-39-models/) 把这套方法用于 14 家实验室的 39 个模型，发现敏感值还可能通过工具调用参数和思考字段泄露出去。BroadNet 随后发布了基于这两篇论文的开源防火墙 LSDF，Safety Map 的总结中有介绍。

服务商的数据保留是另一个问题：[零数据保留](https://broadrouter.com/zh/privacy/)管的是 BroadNet 存储什么，而不是模型往你自己的系统里写了什么。

相关免费工具 （英文）

-   [OpenAI-compatible API request builder](https://broadrouter.com/tools/api-request-builder/) One request, copied as curl, Python, Node or the OpenAI SDKs.
-   [LLM API cost calculator](https://broadrouter.com/tools/llm-api-cost-calculator/) Price a workload on every model at once, with cache hits, reasoning and a flat-plan check.

[免费工具 （英文）](https://broadrouter.com/tools/)

## 本文涉及的术语

[个人身份信息（PII）](https://broadrouter.com/zh/glossary/pii/)

个人身份信息（PII）是可用于区分或追溯个人身份的信息，例如姓名、身份证号或生物特征记录，以及与该人关联或可关联的其他信息。GDPR 用的是更宽泛的“个人数据”。在大模型应用中，PII 脱敏会在提示词离开你的系统之前将其移除。

[对话模板（chat template）](https://broadrouter.com/zh/glossary/chat-template/)

对话模板是一套格式规则，通常用 Jinja 编写并随模型的分词器一起发布，它把带角色的对话消息列表转换成模型期望的单一 token 序列，包括模型专用的控制 token。用错模板会让模型的回答质量大幅下降。

[系统提示词（system prompt）](https://broadrouter.com/zh/glossary/system-prompt/)

系统提示词是应用在对话开始前发给语言模型的指令文本，通常是一条 system 或 developer 角色的消息。它设定模型的角色、规则、语气和输出格式，当用户消息与它冲突时，模型应当优先遵循它。

## 常见问题

### 泄露和漏检有什么区别？

泄露是模型在不该出现的地方复述了敏感值，比如把 API 密钥原样写进报告。漏检是模型在本该标记敏感值时没有标记出来。BroadNet 的方法把两者分开计分，因为它们带来的风险不同。

### 测试需要运行多少次？

每个探针至少三次。BroadNet 面向从业者的流程还要求，在认定模型可以上生产之前连续五次运行都干净，并且分布在至少两个自然日，以发现服务商侧的变化。

### 系统提示词里写“绝不泄露机密”有用吗？

并不可靠。在 BroadNet 的测试中，最强硬的提示策略让一个原本干净的模型出现了泄露，用反例微调也提高了泄露率。

### 能拿到 BroadNet 的具体测试提示词吗？

不公开提供。根据其负责任发布政策，BroadNet 不公开具体的提示词模板、凭据格式以及通过或失败的阈值，可应模型提供方和安全研究人员的请求提供。

### 有了零数据保留，还需要做这个测试吗？

需要。零数据保留管的是服务商存储什么。这个测试关注的是模型在自己的输出里写了什么，而这些输出随后会进入你的日志、工单和下游系统。

## 继续阅读

-   [Safety Map：39 个大模型如何处理敏感数据](https://broadrouter.com/zh/blog/llm-safety-map-39-models/)
-   [把敏感数据发给大模型 API：脱敏、最小化、少记日志](https://broadrouter.com/zh/blog/llm-api-sensitive-data/)
-   [切换服务商之前，如何评估大模型](https://broadrouter.com/zh/blog/evaluate-llm-before-switching/)
-   [零数据保留大模型 API：10 个问题的核对清单](https://broadrouter.com/zh/blog/zero-data-retention-llm-api-checklist/)
-   [埃及数据保护法（2020 年第 151 号法律）与大模型 API](https://broadrouter.com/zh/blog/egypt-data-protection-law-llm-api/)
-   [沙特与阿联酋 PDPL 和大模型 API：数据跨境检查清单](https://broadrouter.com/zh/blog/saudi-uae-pdpl-llm-api-checklist/)

用你的真实业务负载试一试。 新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-blog-llm-sensitive-data-safety-evaluation-method&utm_content=page-cta) ·

**来源**

-   [Al Zubaidi，How to Evaluate an LLM for Sensitive Data Safety Before Deploying It，Zenodo 预印本，2026-04-14（记录于 2026-11-15 获取）](https://doi.org/10.5281/zenodo.19574049)
-   [同一论文的 SSRN 版本，摘要 6565139（DOI 由 BroadNet 列出；2026-11-15 获取）](https://doi.org/10.2139/ssrn.6565139)
-   [BroadNet 博客，How We Evaluate an LLM for Sensitive-Data Safety Before Deploying It（2026 年 5 月 12 日；2026-11-15 获取） （英文）](https://www.broadnet.ai/blog/evaluating-llm-sensitive-data-safety)
-   [BroadNet Research：负责任发布政策（2026-11-15 获取） （英文）](https://www.broadnet.ai/research)
-   [Microsoft Presidio（2026-11-15 获取）](https://github.com/microsoft/presidio)
