BroadNet の研究部門は、導入前に大規模言語モデルが機密データを漏らすかどうかをテストする実践的な手法を公開しました。プレプリント How to Evaluate an LLM for Sensitive Data Safety Before Deploying It(導入前に LLM の機密データ安全性を評価する方法)は、Zenodo で DOI 10.5281/zenodo.19574049、2026 年 4 月 14 日付で公開され、SSRN にもミラーがあります。Zenodo のレコードでは著者は Mohammad Al Zubaidi です。
このページは手法とその知見をまとめたものです。BroadNet の研究であり、知見も BroadNet 自身のものです。私たちは再実行していません。
なぜ通常のベンチマークでは捕まえられないのですか?
公開ベンチマークが測るのは能力、つまりモデルが最高の状態で何ができるかです。設定ファイルや診療記録の監査に使うモデルには、してはならないこともあります。見つけた秘密を繰り返さないことです。論文の例がそれを示しています。99 のタスクで 95 点を取り、100 番目で API キーをそのまま出力するモデルは、平均 94 点でも本番では使えません。
BroadNet はこれを、上限ではなく下限をテストすることだと呼び、論文は “capability and constraint”(訳:能力と制約)を独立した軸として扱っています。
この手法は何をテストしますか?
4 つのカテゴリーを、それぞれ単独でテストします。
| カテゴリー | 例 | モデルが認識する手がかり |
|---|---|---|
| 認証情報 | API キー、トークン、SSH 鍵、データベースのパスワード | 主に形式。接続文字列内のパスワードには形式の手がかりがない |
| 個人を特定できる情報(PII) | 名前、メールアドレス、電話番号、公的な ID | 構造化された ID は形式、自由記述は意味 |
| 保護対象医療情報(PHI) | 診断、処方、診療記録 | 文脈によることが多い:名前の隣に診断がある |
| 金融データ | 口座番号、残高、取引 | 形式。ただし機密として扱われることは少ない |
要旨は “24+ models across 6 model families”(訳:6 つのモデルファミリーにわたる 24 以上のモデル)をテストしたと報告し、明確な序列を見いだしています。構造化された認証情報や社会保障番号のような形式ベースの認識は、診断の隣にあることで機密になる名前のような文脈ベースの認識よりもはるかに信頼できます。認証情報の漏えい率が 0% だったあるモデルは、PHI のテストでは毎回患者の識別情報を漏らしました。
結果はどう採点すべきですか?
論文は最低限のプロトコルを提案しています。
- 二値の採点。 各実行は安全か否かのどちらかで、「ほぼ安全」な回答に部分点はありません。
- 漏えいと見逃しを別々に採点。 1 つの数字にまとめると、自分のユースケースで重要なほうが隠れてしまいます。
- 複数回の実行。 モデルとプローブごとに 3 回以上。同じモデルがある日は合格し、次の日には漏えいすることがあるからです。
- カテゴリーごと。 認証情報での安全性は、診療記録での安全性について何も語りません。
BroadNet の実務者向け記事は、パイロットで使っている運用ルールを加えています。合成データだけを使う。システムプロンプト、ツール、検索を含む導入時の構成全体をテストする。本番の前に 5 回連続でクリーンな結果を求める。セルフホストのモデルは毎月、頻繁に更新されるサードパーティのモデルは毎週再テストする。
うまくいかなかったことは?
よくある 2 つの対策は、BroadNet のテストではかえって状況を悪化させました。
- プロンプトの指示。 「認証情報を明かさないこと」と加えても無視されることがあり、最も強い指示を与えるプロンプト戦略は、ベースラインでは問題のなかったモデルに漏えいを起こしました。
- 否定例でのファインチューニング。 あるカテゴリーを拒否するようモデルを訓練すると、漏えい率は下がるどころか上がりました。
BroadNet の説明では、効果があったのは 3 つの層の組み合わせです。そのカテゴリーでリスクの低いモデルを選ぶこと、決定論的なツールで出力をフィルタリングすること(Microsoft Presidio と LLM Guard を挙げています)、そしてタスクに値そのものが不要なら、プロンプトを組み立てる前に入力をマスキングすることです。LLM API に機密データを送るためのガイドでは、マスキングの手順をコードで示しています。
論文が公開していないものは?
責任ある公開ポリシーにより、BroadNet はカテゴリー、採点の考え方、サンプルサイズ、注意事項は公開していますが、正確なプロンプトテンプレート、認証情報の形式、合否のしきい値は公開していません。理由は、それらを公開すると、導入者に防御手段がないまま、抽出に必要な労力を下げてしまうからです。モデル提供者と安全性研究者は依頼できます。そのため、この手法は形としては再現できますが、数値を一つひとつ再現することはできません。
BroadNet Inference とはどう関係しますか?
これはプロバイダーではなく、モデルのテストです。BroadNet Inference のモデルを含め、どの API のどのモデルにも当てはまります。姉妹編の論文 Safety Map は、この手法を 14 のラボの 39 モデルに適用し、機密値がツール呼び出しの引数や推論フィールドからも出ていきうることを見いだしました。BroadNet はその後、両論文をもとにしたオープンソースのファイアウォール LSDF を公開しており、Safety Map のまとめで紹介しています。
プロバイダーのデータ保持は別の問題です。ゼロデータ保持は BroadNet が何を保存するかを扱うもので、モデルが自分のシステムに何を書くかを扱うものではありません。

![Cards reading Name and Email turning into the placeholders [PERSON] and [EMAIL], with the text "Redact. Process. Restore." and "LSDF by BroadNet".](/_astro/lsdf-redact.DvY_-MHj_ZO6b3q.webp)