---
title: "LLM の機密データ安全性評価：BroadNet の手法 | BroadRouter"
description: "LLM が認証情報、個人情報、医療・金融データを漏らさないか、導入前にテストするために BroadNet が公開した手法。カテゴリー別、漏えいと見逃し、3 回以上の実行。"
url: https://broadrouter.com/ja/blog/llm-sensitive-data-safety-evaluation-method/
lang: ja
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

このページは英語の原文を AI の支援を受けて翻訳したものです。 [英語の原文を読む](https://broadrouter.com/blog/llm-sensitive-data-safety-evaluation-method/) (2026-11-15 更新).

# LLM の機密データ安全性をテストする方法：BroadNet の手法

BroadNet Inference チーム · 約 3 分で読めます · 公開日 2026-11-15

BroadNet の 2026 年 4 月のプレプリント（DOI 10.5281/zenodo.19574049、SSRN にも掲載）が示す導入前テストでは、認証情報、個人情報、医療、金融の 4 カテゴリーを別々に調べ、漏えいと見逃しを分けて二値で採点し、各テストを最低 3 回実行します。同社のテストでは、プロンプトのルールや否定例でのファインチューニングで漏えいが悪化しました。

## 要点

-   Zenodo のプレプリント、DOI 10.5281/zenodo.19574049（2026 年 4 月 14 日、CC BY 4.0）、SSRN に 10.2139/ssrn.6565139 としてミラー。査読は経ていません。
-   能力ベンチマークはモデルに何ができるかを測ります。この手法は、モデルが決してしてはならないことを測ります。
-   失敗モードは 2 つ。漏えい（機密値をそのまま出す）と見逃し（機密値を検出しない）です。別々に採点してください。
-   安全性は非決定的です。すべての判定は 1 回ではなく、3 回以上の実行に基づかせてください。
-   BroadNet のテストでは、強いプロンプト指示と否定例でのファインチューニングが漏えい率を上げました。

**このページの内容**

1.  なぜ通常のベンチマークでは捕まえられないのですか？
2.  この手法は何をテストしますか？
3.  結果はどう採点すべきですか？
4.  うまくいかなかったことは？
5.  論文が公開していないものは？
6.  BroadNet Inference とはどう関係しますか？

_[image: Cards reading Name and Email turning into the placeholders [PERSON] and [EMAIL], with the text "Redact. Process. Restore." and "LSDF by BroadNet".]_

BroadNet の研究部門は、導入前に大規模言語モデルが機密データを漏らすかどうかをテストする実践的な手法を公開しました。プレプリント _How to Evaluate an LLM for Sensitive Data Safety Before Deploying It_（導入前に LLM の機密データ安全性を評価する方法）は、Zenodo で DOI [10.5281/zenodo.19574049](https://doi.org/10.5281/zenodo.19574049)、2026 年 4 月 14 日付で公開され、SSRN にもミラーがあります。Zenodo のレコードでは著者は Mohammad Al Zubaidi です。

このページは手法とその知見をまとめたものです。BroadNet の研究であり、知見も BroadNet 自身のものです。私たちは再実行していません。

## なぜ通常のベンチマークでは捕まえられないのですか？

公開ベンチマークが測るのは能力、つまりモデルが最高の状態で何ができるかです。設定ファイルや診療記録の監査に使うモデルには、してはならないこともあります。見つけた秘密を繰り返さないことです。論文の例がそれを示しています。99 のタスクで 95 点を取り、100 番目で API キーをそのまま出力するモデルは、平均 94 点でも本番では使えません。

BroadNet はこれを、上限ではなく下限をテストすることだと呼び、論文は “capability and constraint”（訳：能力と制約）を独立した軸として扱っています。

## この手法は何をテストしますか？

4 つのカテゴリーを、それぞれ単独でテストします。

| カテゴリー | 例 | モデルが認識する手がかり |
| --- | --- | --- |
| 認証情報 | API キー、トークン、SSH 鍵、データベースのパスワード | 主に形式。接続文字列内のパスワードには形式の手がかりがない |
| 個人を特定できる情報（PII） | 名前、メールアドレス、電話番号、公的な ID | 構造化された ID は形式、自由記述は意味 |
| 保護対象医療情報（PHI） | 診断、処方、診療記録 | 文脈によることが多い：名前の隣に診断がある |
| 金融データ | 口座番号、残高、取引 | 形式。ただし機密として扱われることは少ない |

要旨は “24+ models across 6 model families”（訳：6 つのモデルファミリーにわたる 24 以上のモデル）をテストしたと報告し、明確な序列を見いだしています。構造化された認証情報や社会保障番号のような形式ベースの認識は、診断の隣にあることで機密になる名前のような文脈ベースの認識よりもはるかに信頼できます。認証情報の漏えい率が 0% だったあるモデルは、PHI のテストでは毎回患者の識別情報を漏らしました。

## 結果はどう採点すべきですか？

論文は最低限のプロトコルを提案しています。

1.  **二値の採点。** 各実行は安全か否かのどちらかで、「ほぼ安全」な回答に部分点はありません。
2.  **漏えいと見逃しを別々に採点。** 1 つの数字にまとめると、自分のユースケースで重要なほうが隠れてしまいます。
3.  **複数回の実行。** モデルとプローブごとに 3 回以上。同じモデルがある日は合格し、次の日には漏えいすることがあるからです。
4.  **カテゴリーごと。** 認証情報での安全性は、診療記録での安全性について何も語りません。

BroadNet の実務者向け記事は、パイロットで使っている運用ルールを加えています。合成データだけを使う。システムプロンプト、ツール、検索を含む導入時の構成全体をテストする。本番の前に 5 回連続でクリーンな結果を求める。セルフホストのモデルは毎月、頻繁に更新されるサードパーティのモデルは毎週再テストする。

## うまくいかなかったことは？

よくある 2 つの対策は、BroadNet のテストではかえって状況を悪化させました。

-   **プロンプトの指示。** 「認証情報を明かさないこと」と加えても無視されることがあり、最も強い指示を与えるプロンプト戦略は、ベースラインでは問題のなかったモデルに漏えいを起こしました。
-   **否定例でのファインチューニング。** あるカテゴリーを拒否するようモデルを訓練すると、漏えい率は下がるどころか上がりました。

BroadNet の説明では、効果があったのは 3 つの層の組み合わせです。そのカテゴリーでリスクの低いモデルを選ぶこと、決定論的なツールで出力をフィルタリングすること（[Microsoft Presidio](https://github.com/microsoft/presidio) と LLM Guard を挙げています）、そしてタスクに値そのものが不要なら、プロンプトを組み立てる前に入力をマスキングすることです。[LLM API に機密データを送るためのガイド](https://broadrouter.com/ja/blog/llm-api-sensitive-data/)では、マスキングの手順をコードで示しています。

## 論文が公開していないものは？

責任ある公開ポリシーにより、BroadNet はカテゴリー、採点の考え方、サンプルサイズ、注意事項は公開していますが、正確なプロンプトテンプレート、認証情報の形式、合否のしきい値は公開していません。理由は、それらを公開すると、導入者に防御手段がないまま、抽出に必要な労力を下げてしまうからです。モデル提供者と安全性研究者は依頼できます。そのため、この手法は形としては再現できますが、数値を一つひとつ再現することはできません。

## BroadNet Inference とはどう関係しますか？

これはプロバイダーではなく、モデルのテストです。[BroadNet Inference](https://broadrouter.com/ja/models/) のモデルを含め、どの API のどのモデルにも当てはまります。姉妹編の論文 [Safety Map](https://broadrouter.com/ja/blog/llm-safety-map-39-models/) は、この手法を 14 のラボの 39 モデルに適用し、機密値がツール呼び出しの引数や推論フィールドからも出ていきうることを見いだしました。BroadNet はその後、両論文をもとにしたオープンソースのファイアウォール LSDF を公開しており、Safety Map のまとめで紹介しています。

プロバイダーのデータ保持は別の問題です。[ゼロデータ保持](https://broadrouter.com/ja/privacy/)は BroadNet が何を保存するかを扱うもので、モデルが自分のシステムに何を書くかを扱うものではありません。

関連する無料ツール （英語）

-   [OpenAI-compatible API request builder](https://broadrouter.com/tools/api-request-builder/) One request, copied as curl, Python, Node or the OpenAI SDKs.
-   [LLM API cost calculator](https://broadrouter.com/tools/llm-api-cost-calculator/) Price a workload on every model at once, with cache hits, reasoning and a flat-plan check.

[無料ツール （英語）](https://broadrouter.com/tools/)

## この記事の用語

[PII（個人を特定できる情報）](https://broadrouter.com/ja/glossary/pii/)

PII（個人を特定できる情報）とは、氏名、ID 番号、生体情報など個人の身元を識別・追跡できる情報と、その人に結び付いた、または結び付けうる情報です。GDPR ではより広い「個人データ」を使います。LLM では、プロンプトが社外に出る前に PII をマスキングします。

[API キー（API key）](https://broadrouter.com/ja/glossary/api-key/)

API キーとは、API を呼び出すクライアントを識別し、認可するための秘密の文字列です。LLM API では通常 Authorization: Bearer ヘッダーで送り、キーを持つ人は誰でも、そのキーの所有アカウントに課金されるリクエストを送れます。

[チャットテンプレート（chat template）](https://broadrouter.com/ja/glossary/chat-template/)

チャットテンプレートとは、ロール付きのメッセージのリストを、制御トークンも含めてモデルが想定する 1 本のトークン列に変換する書式ルールです。通常は Jinja で書かれ、トークナイザーと一緒に配布されます。誤ったテンプレートでは回答の質が大幅に落ちます。

[トークン（token）](https://broadrouter.com/ja/glossary/token/)

トークンとは、言語モデルが読み書きするテキストの単位です。モデルのトークナイザーが作る単語、単語の一部、句読点、バイト列のいずれかにあたります。LLM API は利用量をトークンで数え、上限を設け、通常はトークン単位で課金します。

## よくある質問

### 漏えいと見逃しの違いは何ですか？

漏えいは、モデルが出すべきでない場所で機密値を繰り返すことです。たとえば API キーをレポートにそのまま書き出すことです。見逃しは、機密値を検出するのが役目なのに検出できないことです。BroadNet の手法では、リスクが異なるため両者を別々に採点します。

### テストは何回実行する必要がありますか？

プローブごとに最低 3 回です。BroadNet の実務者向けプロトコルでは、本番で安全と判断する前に 5 回連続でクリーンな結果を求め、プロバイダー側の変化を捉えるため、それを少なくとも 2 日にまたがって行います。

### システムプロンプトに「機密を決して明かさないこと」と書けば効果はありますか？

確実ではありません。BroadNet のテストでは、最も強い指示を与えるプロンプト戦略が、それなしでは問題のなかったモデルに漏えいを起こし、否定例でのファインチューニングも漏えい率を上げました。

### BroadNet の正確なテストプロンプトは入手できますか？

公開はされていません。責任ある公開ポリシーにより、BroadNet は正確なプロンプトテンプレート、認証情報の形式、合否のしきい値を公開せず、モデル提供者と安全性研究者には依頼に応じて共有しています。

### ゼロデータ保持なら、このテストは不要ですか？

不要ではありません。ゼロデータ保持はプロバイダーが何を保存するかを管理するものです。このテストは、モデルが自分の出力に何を書くかに関するもので、その出力はログ、チケット、下流のシステムに入っていきます。

## 続けて読む

-   [Safety Map：39 の LLM は機密データをどう扱うか](https://broadrouter.com/ja/blog/llm-safety-map-39-models/)
-   [機密データを LLM API に送るとき：マスキング、最小化、ログ削減](https://broadrouter.com/ja/blog/llm-api-sensitive-data/)
-   [プロバイダーを乗り換える前に LLM を評価する方法](https://broadrouter.com/ja/blog/evaluate-llm-before-switching/)
-   [ゼロデータ保持の LLM API：確認すべき 10 の質問チェックリスト](https://broadrouter.com/ja/blog/zero-data-retention-llm-api-checklist/)
-   [エジプトのデータ保護法（2020 年法律第 151 号）と LLM API](https://broadrouter.com/ja/blog/egypt-data-protection-law-llm-api/)
-   [サウジ・UAE の PDPL と LLM API：越境移転チェックリスト](https://broadrouter.com/ja/blog/saudi-uae-pdpl-llm-api-checklist/)

実際のワークロードで試してください。 新規アカウントには US$5 の初回クレジットがあり、Gemma、文字起こし に使えます。DeepSeek、GLM、Qwen3.8 はチャージが必要です。

[始める](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-blog-llm-sensitive-data-safety-evaluation-method&utm_content=page-cta) ·

**出典**

-   [Al Zubaidi、How to Evaluate an LLM for Sensitive Data Safety Before Deploying It、Zenodo プレプリント、2026-04-14（レコードは 2026-11-15 取得）](https://doi.org/10.5281/zenodo.19574049)
-   [同じ論文の SSRN 版、アブストラクト 6565139（DOI は BroadNet の記載による、2026-11-15 取得）](https://doi.org/10.2139/ssrn.6565139)
-   [BroadNet ブログ、How We Evaluate an LLM for Sensitive-Data Safety Before Deploying It（2026 年 5 月 12 日、2026-11-15 取得） （英語）](https://www.broadnet.ai/blog/evaluating-llm-sensitive-data-safety)
-   [BroadNet Research：責任ある公開ポリシー（2026-11-15 取得） （英語）](https://www.broadnet.ai/research)
-   [Microsoft Presidio（2026-11-15 取得）](https://github.com/microsoft/presidio)
