BroadRouter
始める

LLM の機密データ安全性をテストする方法:BroadNet の手法

BroadNet Inference チーム · 約 3 分で読めます · 公開日

BroadNet の 2026 年 4 月のプレプリント(DOI 10.5281/zenodo.19574049、SSRN にも掲載)が示す導入前テストでは、認証情報、個人情報、医療、金融の 4 カテゴリーを別々に調べ、漏えいと見逃しを分けて二値で採点し、各テストを最低 3 回実行します。同社のテストでは、プロンプトのルールや否定例でのファインチューニングで漏えいが悪化しました。

Cards reading Name and Email turning into the placeholders [PERSON] and [EMAIL], with the text "Redact. Process. Restore." and "LSDF by BroadNet".

BroadNet の研究部門は、導入前に大規模言語モデルが機密データを漏らすかどうかをテストする実践的な手法を公開しました。プレプリント How to Evaluate an LLM for Sensitive Data Safety Before Deploying It(導入前に LLM の機密データ安全性を評価する方法)は、Zenodo で DOI 10.5281/zenodo.19574049、2026 年 4 月 14 日付で公開され、SSRN にもミラーがあります。Zenodo のレコードでは著者は Mohammad Al Zubaidi です。

このページは手法とその知見をまとめたものです。BroadNet の研究であり、知見も BroadNet 自身のものです。私たちは再実行していません。

なぜ通常のベンチマークでは捕まえられないのですか?

公開ベンチマークが測るのは能力、つまりモデルが最高の状態で何ができるかです。設定ファイルや診療記録の監査に使うモデルには、してはならないこともあります。見つけた秘密を繰り返さないことです。論文の例がそれを示しています。99 のタスクで 95 点を取り、100 番目で API キーをそのまま出力するモデルは、平均 94 点でも本番では使えません。

BroadNet はこれを、上限ではなく下限をテストすることだと呼び、論文は “capability and constraint”(訳:能力と制約)を独立した軸として扱っています。

この手法は何をテストしますか?

4 つのカテゴリーを、それぞれ単独でテストします。

カテゴリー 例 モデルが認識する手がかり
認証情報 API キー、トークン、SSH 鍵、データベースのパスワード 主に形式。接続文字列内のパスワードには形式の手がかりがない
個人を特定できる情報(PII) 名前、メールアドレス、電話番号、公的な ID 構造化された ID は形式、自由記述は意味
保護対象医療情報(PHI) 診断、処方、診療記録 文脈によることが多い:名前の隣に診断がある
金融データ 口座番号、残高、取引 形式。ただし機密として扱われることは少ない

要旨は “24+ models across 6 model families”(訳:6 つのモデルファミリーにわたる 24 以上のモデル)をテストしたと報告し、明確な序列を見いだしています。構造化された認証情報や社会保障番号のような形式ベースの認識は、診断の隣にあることで機密になる名前のような文脈ベースの認識よりもはるかに信頼できます。認証情報の漏えい率が 0% だったあるモデルは、PHI のテストでは毎回患者の識別情報を漏らしました。

結果はどう採点すべきですか?

論文は最低限のプロトコルを提案しています。

  1. 二値の採点。 各実行は安全か否かのどちらかで、「ほぼ安全」な回答に部分点はありません。
  2. 漏えいと見逃しを別々に採点。 1 つの数字にまとめると、自分のユースケースで重要なほうが隠れてしまいます。
  3. 複数回の実行。 モデルとプローブごとに 3 回以上。同じモデルがある日は合格し、次の日には漏えいすることがあるからです。
  4. カテゴリーごと。 認証情報での安全性は、診療記録での安全性について何も語りません。

BroadNet の実務者向け記事は、パイロットで使っている運用ルールを加えています。合成データだけを使う。システムプロンプト、ツール、検索を含む導入時の構成全体をテストする。本番の前に 5 回連続でクリーンな結果を求める。セルフホストのモデルは毎月、頻繁に更新されるサードパーティのモデルは毎週再テストする。

うまくいかなかったことは?

よくある 2 つの対策は、BroadNet のテストではかえって状況を悪化させました。

  • プロンプトの指示。 「認証情報を明かさないこと」と加えても無視されることがあり、最も強い指示を与えるプロンプト戦略は、ベースラインでは問題のなかったモデルに漏えいを起こしました。
  • 否定例でのファインチューニング。 あるカテゴリーを拒否するようモデルを訓練すると、漏えい率は下がるどころか上がりました。

BroadNet の説明では、効果があったのは 3 つの層の組み合わせです。そのカテゴリーでリスクの低いモデルを選ぶこと、決定論的なツールで出力をフィルタリングすること(Microsoft Presidio と LLM Guard を挙げています)、そしてタスクに値そのものが不要なら、プロンプトを組み立てる前に入力をマスキングすることです。LLM API に機密データを送るためのガイドでは、マスキングの手順をコードで示しています。

論文が公開していないものは?

責任ある公開ポリシーにより、BroadNet はカテゴリー、採点の考え方、サンプルサイズ、注意事項は公開していますが、正確なプロンプトテンプレート、認証情報の形式、合否のしきい値は公開していません。理由は、それらを公開すると、導入者に防御手段がないまま、抽出に必要な労力を下げてしまうからです。モデル提供者と安全性研究者は依頼できます。そのため、この手法は形としては再現できますが、数値を一つひとつ再現することはできません。

BroadNet Inference とはどう関係しますか?

これはプロバイダーではなく、モデルのテストです。BroadNet Inference のモデルを含め、どの API のどのモデルにも当てはまります。姉妹編の論文 Safety Map は、この手法を 14 のラボの 39 モデルに適用し、機密値がツール呼び出しの引数や推論フィールドからも出ていきうることを見いだしました。BroadNet はその後、両論文をもとにしたオープンソースのファイアウォール LSDF を公開しており、Safety Map のまとめで紹介しています。

プロバイダーのデータ保持は別の問題です。ゼロデータ保持は BroadNet が何を保存するかを扱うもので、モデルが自分のシステムに何を書くかを扱うものではありません。

よくある質問

漏えいと見逃しの違いは何ですか?

漏えいは、モデルが出すべきでない場所で機密値を繰り返すことです。たとえば API キーをレポートにそのまま書き出すことです。見逃しは、機密値を検出するのが役目なのに検出できないことです。BroadNet の手法では、リスクが異なるため両者を別々に採点します。

テストは何回実行する必要がありますか?

プローブごとに最低 3 回です。BroadNet の実務者向けプロトコルでは、本番で安全と判断する前に 5 回連続でクリーンな結果を求め、プロバイダー側の変化を捉えるため、それを少なくとも 2 日にまたがって行います。

システムプロンプトに「機密を決して明かさないこと」と書けば効果はありますか?

確実ではありません。BroadNet のテストでは、最も強い指示を与えるプロンプト戦略が、それなしでは問題のなかったモデルに漏えいを起こし、否定例でのファインチューニングも漏えい率を上げました。

BroadNet の正確なテストプロンプトは入手できますか?

公開はされていません。責任ある公開ポリシーにより、BroadNet は正確なプロンプトテンプレート、認証情報の形式、合否のしきい値を公開せず、モデル提供者と安全性研究者には依頼に応じて共有しています。

ゼロデータ保持なら、このテストは不要ですか?

不要ではありません。ゼロデータ保持はプロバイダーが何を保存するかを管理するものです。このテストは、モデルが自分の出力に何を書くかに関するもので、その出力はログ、チケット、下流のシステムに入っていきます。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く