---
title: "Pag-evaluate ng LLM sa sensitibong data: paraan ng BroadNet"
description: "Ang paraan ng BroadNet sa pag-test kung nagle-leak ang LLM ng credential, PII, health o financial data bago i-deploy: mga kategorya, leak vs miss, 3+ run."
url: https://broadrouter.com/fil/blog/llm-sensitive-data-safety-evaluation-method/
lang: fil
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Isinalin mula sa Ingles sa tulong ng AI. [Basahin ang orihinal sa Ingles](https://broadrouter.com/blog/llm-sensitive-data-safety-evaluation-method/) (na-update noong 2026-11-15).

# Paano i-test ang LLM sa safety ng sensitibong data: paraan ng BroadNet

Ng BroadNet Inference team · 3 minutong basa · Nailathala 2026-11-15

Inilalatag ng preprint ng BroadNet noong Abril 2026 (DOI 10.5281/zenodo.19574049, nasa SSRN din) ang isang test sa safety ng sensitibong data bago mag-deploy. I-test nang hiwalay ang apat na kategorya (credential, PII, health at financial data), ituring na magkaibang pagkabigo ang leak at miss, gumamit ng binary scoring, at patakbuhin ang bawat test nang hindi bababa sa tatlong beses. Sa mga test nito, lumala ang leak dahil sa prompt rule at fine-tuning sa negative example.

## Mga pangunahing punto

-   Preprint sa Zenodo, DOI 10.5281/zenodo.19574049 (Abril 14, 2026, CC BY 4.0), naka-mirror sa SSRN bilang 10.2139/ssrn.6565139. Hindi peer-reviewed.
-   Sinusukat ng mga capability benchmark ang kayang gawin ng model; sinusukat ng paraang ito ang hindi nito dapat gawin.
-   Dalawang uri ng pagkabigo: leak (inuulit ang sensitibong value) at miss (hindi ito na-flag). I-score nang hiwalay.
-   Hindi deterministic ang safety: ibatay ang bawat hatol sa 3 o higit pang run, hindi kailanman sa iisang pasada.
-   Sa mga test ng BroadNet, tumaas ang leak rate dahil sa agresibong prompt instruction at fine-tuning sa negative example.

**Sa page na ito**

1.  Bakit hindi ito nahuhuli ng karaniwang benchmark?
2.  Ano ang tine-test ng paraan?
3.  Paano dapat i-score ang mga resulta?
4.  Ano ang hindi gumana?
5.  Ano ang hindi inilalathala ng paper?
6.  Paano ito nakakonekta sa BroadNet Inference?

_[image: Cards reading Name and Email turning into the placeholders [PERSON] and [EMAIL], with the text "Redact. Process. Restore." and "LSDF by BroadNet".]_

Naglathala ang research arm ng BroadNet ng praktikal na paraan para i-test kung nagle-leak ng sensitibong data ang isang large language model bago mo ito i-deploy. Nasa Zenodo ang preprint, _How to Evaluate an LLM for Sensitive Data Safety Before Deploying It_, sa ilalim ng DOI [10.5281/zenodo.19574049](https://doi.org/10.5281/zenodo.19574049), may petsang Abril 14, 2026, at naka-mirror sa SSRN. Si Mohammad Al Zubaidi ang may-akda ayon sa record nito sa Zenodo.

Binubuod ng page na ito ang paraan at ang mga natuklasan nito. Gawa ito ng BroadNet, at sa kanila ang mga natuklasan; hindi namin pinatakbo ulit ang mga ito.

## Bakit hindi ito nahuhuli ng karaniwang benchmark?

Sinusukat ng mga pampublikong benchmark ang capability: ang kayang gawin ng model sa pinakamahusay nito. Ang model na idineploy para mag-audit ng configuration file o clinical note ay dapat ding hindi gumawa ng isang bagay: ulitin ang sikretong nakita nito. Malinaw ito sa halimbawa ng paper. Ang model na nakakuha ng 95 sa 99 na task at nag-echo ng API key sa ika-100 ay may average na 94 at hindi pa rin magagamit sa production.

Tinatawag ito ng BroadNet na pag-test para sa sahig sa halip na sa kisame, at itinuturing ng paper ang “capability and constraint” (salin: kakayahan at limitasyon) bilang magkahiwalay na axis.

## Ano ang tine-test ng paraan?

Apat na kategorya, bawat isa tine-test nang hiwalay:

| Kategorya | Mga halimbawa | Paano ito nakikilala ng model |
| --- | --- | --- |
| Credential | API key, token, SSH key, database password | Kadalasan sa format; walang palatandaan sa format ang password sa connection string |
| Personally identifiable information (PII) | Pangalan, email, numero ng telepono, government ID | Format para sa structured na ID, kahulugan para sa free text |
| Protected health information (PHI) | Diagnosis, reseta, clinical note | Madalas sa context: diagnosis na katabi ng pangalan |
| Financial data | Account number, balance, transaksyon | Format, pero mas bihirang ituring na sensitibo |

Iniuulat ng abstract ang pag-test ng “24+ models across 6 model families” (salin: 24+ na model sa 6 na model family) at nakakita ng malinaw na hierarchy: mas maaasahan nang husto ang pagkilala batay sa format, gaya ng structured na credential at Social Security number, kaysa sa pagkilala batay sa context, gaya ng mga pangalang nagiging sensitibo kapag katabi ng diagnosis. Ang isang model na may 0% na credential leak rate ay nag-leak ng patient identifier sa bawat PHI test run.

## Paano dapat i-score ang mga resulta?

Nagmumungkahi ang paper ng minimum na protocol:

1.  **Binary scoring.** Ligtas o hindi ang bawat run; walang partial credit para sa sagot na “halos ligtas”.
2.  **Hiwalay na score para sa leak at miss.** Kapag pinagsama sa iisang numero, natatago ang mahalaga para sa use case mo.
3.  **Maraming run.** Tatlo o higit pa kada model at probe, dahil puwedeng pumasa ang parehong model sa isang araw at mag-leak kinabukasan.
4.  **Kategorya kada kategorya.** Walang sinasabi ang safety sa credential tungkol sa safety sa health record.

Nagdaragdag ang practitioner write-up ng BroadNet ng mga patakarang ginagamit nito sa mga pilot: synthetic data lang ang gamitin, i-test ang buong deployment configuration (kasama ang system prompt, tools at retrieval), humingi ng limang sunod-sunod na malinis na run bago mag-production, at mag-test ulit buwan-buwan para sa mga self-hosted na model at linggo-linggo para sa mga third-party model na madalas mag-update.

## Ano ang hindi gumana?

Dalawang karaniwang solusyon ang nagpalala sa sitwasyon sa mga test ng BroadNet:

-   **Prompt instruction.** Minsan binalewala ang idinagdag na “do not reveal credentials”, at nagdulot ng leak ang pinakamapuwersang prompting strategy sa model na malinis sa baseline.
-   **Fine-tuning sa negative example.** Ang pag-train sa model na tumanggi sa isang kategorya ay nagpataas ng leak rate sa halip na nagpababa.

Ang tumagal, ayon sa salaysay ng BroadNet, ay tatlong layer nang magkakasama: pumili ng model na mas mababa ang panganib para sa kategorya, i-filter ang output gamit ang deterministic na tool (pinapangalanan nito ang [Microsoft Presidio](https://github.com/microsoft/presidio) at LLM Guard), at i-redact ang input bago buuin ang prompt kapag hindi kailangan ng task ang mga value. Ipinapakita sa code ng [gabay namin sa pagpapadala ng sensitibong data sa LLM API](https://broadrouter.com/fil/blog/llm-api-sensitive-data/) ang redaction step.

## Ano ang hindi inilalathala ng paper?

Sa ilalim ng responsible publication policy nito, inilalathala ng BroadNet ang mga kategorya, pilosopiya ng scoring, laki ng sample at mga caveat, pero hindi ang eksaktong prompt template, format ng credential o pass at fail na threshold. Ang dahilan nito: kapag inilathala ang mga iyon, bababa ang pagod na kailangan para sa extraction nang walang depensang magagamit ng mga nagde-deploy. Puwedeng hingin ng mga model provider at safety researcher ang mga ito. Kaya nauulit ang paraan sa hugis, pero hindi numero sa numero.

## Paano ito nakakonekta sa BroadNet Inference?

Test ito ng mga model, hindi ng provider. Naaangkop ito sa anumang model sa anumang API, kasama ang mga nasa [BroadNet Inference](https://broadrouter.com/fil/models/). Ang kasamang paper, [ang Safety Map](https://broadrouter.com/fil/blog/llm-safety-map-39-models/), ay inilalapat ito sa 39 na model mula sa 14 na lab at natuklasang puwede ring lumabas ang mga sensitibong value sa mga tool-call argument at reasoning field. Kalaunan, naglabas ang BroadNet ng open-source na firewall na binuo sa dalawang paper, ang LSDF, na inilalarawan sa buod ng Safety Map.

Hiwalay na tanong ang retention ng provider: sinasaklaw ng [zero data retention](https://broadrouter.com/fil/privacy/) ang itinatago ng BroadNet, hindi ang isinusulat ng model sa sarili mong mga system.

Mga libreng tool para rito (Ingles)

-   [OpenAI-compatible API request builder](https://broadrouter.com/tools/api-request-builder/) One request, copied as curl, Python, Node or the OpenAI SDKs.
-   [LLM API cost calculator](https://broadrouter.com/tools/llm-api-cost-calculator/) Price a workload on every model at once, with cache hits, reasoning and a flat-plan check.

[Libreng tools (Ingles)](https://broadrouter.com/tools/)

## Mga termino sa artikulong ito

[API key](https://broadrouter.com/fil/glossary/api-key/)

Ang API key ay isang lihim na string na kumikilala at nagpapahintulot sa client na tumatawag sa isang API. Kadalasang hinihingi ito ng mga LLM API sa Authorization: Bearer header, at ang sinumang may hawak ng key ay makakagawa ng mga request na sisingilin sa account na may-ari nito.

[Context window](https://broadrouter.com/fil/glossary/context-window/)

Ang context window ay ang pinakamaraming token na kayang hawakan ng isang language model sa iisang request. Sakop nito ang prompt, history ng usapan, tool definitions, mga larawan at ang nabuong output, kasama ang anumang reasoning tokens. Ang hindi kasya ay kailangang bawasan, ibuod o hatiin sa ilang request.

[PII (personally identifiable information)](https://broadrouter.com/fil/glossary/pii/)

Ang PII (personally identifiable information) ay impormasyong magagamit para makilala o ma-trace ang pagkakakilanlan ng isang tao, gaya ng pangalan, ID number o biometric record, pati ibang impormasyong naka-link o mali-link sa taong iyon. Personal data ang mas malawak na termino ng GDPR. Sa LLM, tinatanggal ng PII redaction ito sa mga prompt bago lumabas sa system mo.

[Zero data retention (ZDR)](https://broadrouter.com/fil/glossary/zero-data-retention/)

Ang zero data retention (ZDR) ay patakaran kung saan pinoproseso lang ng AI provider ang mga prompt at output para i-serve ang isang request, at hindi na nito itinatago ang content na iyon pagkatapos, sa log, cache o training data. Kadalasang itinatago pa rin ang mga record na walang content, gaya ng bilang ng token at timing.

[Chat template](https://broadrouter.com/fil/glossary/chat-template/)

Ang chat template ay ang formatting rule, kadalasang nakasulat sa Jinja at kasama ng tokenizer ng model, na nagko-convert ng listahan ng chat messages na may role tungo sa iisang token sequence na inaasahan ng model, kasama ang mga special control token nito. Puwedeng lubhang sumama ang sagot ng model kapag mali ang template.

[Fine-tuning](https://broadrouter.com/fil/glossary/fine-tuning/)

Ang fine-tuning ay ang proseso ng pagpapatuloy ng training ng isang pre-trained na language model sa mas maliit na dataset para sa isang partikular na task, gaya ng mga halimbawang conversation, para magbago ang weights nito at mas maaasahan nitong magawa ang task o style na iyon nang hindi kailangan ng mahahabang instruction o example sa bawat prompt.

[Prompt engineering](https://broadrouter.com/fil/glossary/prompt-engineering/)

Ang prompt engineering ay ang proseso ng pagsulat, pag-aayos at pag-test ng mga instruction na ibinibigay sa isang language model para palagi itong makagawa ng output na tumutugon sa mga requirement mo. Sakop nito ang mga role message, malinaw na instruction, mga example, format, at pagsukat ng resulta gamit ang mga test case.

[System prompt](https://broadrouter.com/fil/glossary/system-prompt/)

Ang system prompt ay ang instruction na ipinapadala ng isang application sa language model bago ang usapan, kadalasan bilang mensaheng may system o developer role. Itinatakda nito ang role, mga patakaran, tono at format ng output ng model, at dapat itong sundin ng model kahit salungat ang mensahe ng user.

## Mga tanong

### Ano ang pagkakaiba ng leak at miss?

Ang leak ay kapag inulit ng model ang sensitibong value kung saan hindi dapat, halimbawa ang pag-echo ng API key sa isang report. Ang miss ay kapag hindi na-flag ng model ang sensitibong value kahit iyon ang trabaho nito. Hiwalay ang score ng mga ito sa paraan ng BroadNet dahil magkaiba ang panganib nila.

### Ilang run ang kailangan ng test?

Hindi bababa sa tatlo kada probe. Nagdaragdag ang practitioner protocol ng BroadNet ng limang sunod-sunod na malinis na run bago nito ituring na ligtas para sa production ang isang model, nakakalat sa hindi bababa sa dalawang araw para mahuli ang mga pagbabago sa panig ng provider.

### Nakakatulong ba ang system prompt na nagsasabing "never reveal secrets"?

Hindi maaasahan. Sa mga test ng BroadNet, nagdulot ng leak ang pinakamapuwersang prompting strategy sa isang model na malinis kapag wala ito, at nagpataas din ng leak rate ang fine-tuning sa negative example.

### Makukuha ko ba ang eksaktong test prompt ng BroadNet?

Hindi sa publiko. Sa ilalim ng responsible publication policy nito, hindi inilalabas ng BroadNet ang eksaktong prompt template, format ng credential at pass o fail na threshold, at ibinabahagi ang mga ito sa mga model provider at safety researcher kapag hiniling.

### Hindi na ba kailangan ang test na ito kapag may zero data retention?

Kailangan pa rin. Kinokontrol ng zero data retention ang itinatago ng provider. Ang test na ito ay tungkol sa isinusulat ng model sa sarili nitong output, na napupunta pagkatapos sa mga log, ticket at downstream system mo.

## Magbasa pa

-   [The Safety Map: paano hinahawakan ng 39 na LLM ang sensitibong data](https://broadrouter.com/fil/blog/llm-safety-map-39-models/)
-   [Sensitive data sa LLM API: mag-redact, magbawas, mag-log nang kaunti](https://broadrouter.com/fil/blog/llm-api-sensitive-data/)
-   [Paano mag-evaluate ng LLM bago lumipat ng provider](https://broadrouter.com/fil/blog/evaluate-llm-before-switching/)
-   [Zero data retention sa LLM API: checklist na may 10 tanong](https://broadrouter.com/fil/blog/zero-data-retention-llm-api-checklist/)
-   [Data protection law ng Egypt (Law 151 of 2020) at mga LLM API](https://broadrouter.com/fil/blog/egypt-data-protection-law-llm-api/)
-   [Saudi at UAE PDPL at mga LLM API: checklist sa cross-border transfer](https://broadrouter.com/fil/blog/saudi-uae-pdpl-llm-api-checklist/)

Subukan ito sa totoong workload mo. May US$5 na panimulang credit ang mga bagong account para sa Gemma at transcription. Kailangan ng top-up para sa DeepSeek, GLM, at Qwen3.8.

[Magsimula](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-blog-llm-sensitive-data-safety-evaluation-method&utm_content=page-cta) ·

**Mga source**

-   [Al Zubaidi, How to Evaluate an LLM for Sensitive Data Safety Before Deploying It, preprint sa Zenodo, 2026-04-14 (kinuha ang record noong 2026-11-15)](https://doi.org/10.5281/zenodo.19574049)
-   [Ang parehong paper sa SSRN, abstract 6565139 (DOI na inilista ng BroadNet; kinuha noong 2026-11-15)](https://doi.org/10.2139/ssrn.6565139)
-   [Blog ng BroadNet, How We Evaluate an LLM for Sensitive-Data Safety Before Deploying It (Mayo 12, 2026; kinuha noong 2026-11-15) (Ingles)](https://www.broadnet.ai/blog/evaluating-llm-sensitive-data-safety)
-   [BroadNet Research: responsible publication policy (kinuha noong 2026-11-15) (Ingles)](https://www.broadnet.ai/research)
-   [Microsoft Presidio (kinuha noong 2026-11-15)](https://github.com/microsoft/presidio)
