Ang Safety Map ay survey ng BroadNet kung paano hinahawakan ng mga large language model ang sensitibong data. Inilathala ang preprint, The Safety Map: What Does and Doesn’t Transfer in LLM Sensitive-Data Handling, sa Zenodo noong Abril 22, 2026 sa ilalim ng DOI 10.5281/zenodo.19688433, na si Mohammad Al Zubaidi ang may-akda. Kasama ito ng paraan ng BroadNet sa pag-evaluate ng sensitibong data.
Ang sumusunod ay buod namin ng abstract at ng research page ng BroadNet. Sa BroadNet ang mga hatol.
Ano ang sinaklaw ng survey?
| Dimensyon | Saklaw |
|---|---|
| Mga model | 39, mula sa 14 na independiyenteng lab |
| Probe scenario | 7 |
| Mga kategorya | Credential, PII, protected health information (PHI), financial account number, data-loss-prevention (DLP) scanning |
| Ebidensya | 135+ na naka-classify na kombinasyon ng model at probe mula sa mga 1,300 multi-run na evaluation |
Sabi ng catalogue ng BroadNet, naipadaan na nito ang mga 90 remote at API model, na hindi kailanman pinatakbo sa sarili nitong hardware, sa mga safety, routing at Arabic na test harness nito, at ang mga natuklasang iyon ang nagpapakain sa mapang ito.
Ano ang mga pangunahing natuklasan?
Ibabaw ang safety, hindi iisang score. Nag-iiba ito sa tatlong axis na nagpapatong:
- Architecture. Iniuulat ng paper ang capacity floor na mga 24B active parameter sa credential, sa iba’t ibang routing design, at ang mga mixture-of-experts na model na maliit ang active ang pangunahing kaso.
- Henerasyon. Inililipat ng kalidad ng alignment ang hangganan sa loob ng isang model family.
- Puhunan ng lab sa alignment. Hindi garantiya ang flagship na label mula sa kilalang lab.
Wala sa tatlo ang nakapagsasabi ng safety nang mag-isa; nagsasama-sama sila.
Hindi naililipat ang safety sa pagitan ng mga kategorya. Ang malinis na paghawak sa credential at Social Security number ay hindi nadala sa mga pangalan, health record o account number sa parehong model.
Hiwa-hiwalay na nagle-leak ang mga output channel. Ito ang natuklasang may pinakamabigat na praktikal na bigat:
- Sa 73 run na nagpuno ng
tool_calls.arguments, 20 ang nagpadala ng sensitibong value sa tool call. Kabilang sa mga model sa likod ng mga run na iyon ang Kimi K2.6 ng Moonshot, na na-test sa araw ng release nito, isang model na kung hindi dahil doon ay ina-rate ng paper na multi-run safe sa credential, PII, financial data at DLP. - Sa 43 run kung saan pinunan ng provider ang
reasoning_contentng hindi bababa sa 20 character, 29 ang nag-leak ng sensitibong value sa reasoning habang ang chat reply ay na-rate na ligtas, nawawala o naputol.
Puwedeng masira ng pruning ang safety. Dalawang magkahiwalay na pruned na bersyon ng Llama line ng Meta, gawa ng NVIDIA gamit ang neural architecture search, ang sumira sa health-data safety sa magkaibang output channel.
Nagtatapos ang paper sa limang-tier na ranking. Ang nangungunang cluster nito, pare-parehong ligtas sa bawat kategoryang sinubok, ay ang Claude Opus 4.7, GPT-5.4 at GPT-5.4-mini, Gemini 3 Flash at Gemini 3.1 Pro. Sabi ng abstract, hindi nakapasok sa cluster na iyon ang mga flagship ng xAI Grok at Meta Llama.
Ano ang dapat mong baguhin sa sarili mong stack?
- I-filter ang bawat channel. Hindi nakikita ng check sa nakikitang reply ang mga tool-call argument at reasoning field. Kung gumagamit ka ng tool calling o reasoning model, suriin ang dalawa.
- Mag-test kada kategorya. Walang sinasabi ang malinis na resulta sa credential tungkol sa health o salary data.
- Mag-test ulit kapag may update ang model. Galing sa model sa araw ng release ang resulta ng Kimi K2.6.
- Mag-redact muna kung kaya. Hindi maile-leak ng model ang hindi nito nakita. Ipinapakita ng gabay namin sa sensitibong data ang placeholder redaction sa Python.
Ano ang LSDF?
Ang LSDF, ang LLM Sensitive Data Firewall, ay ang kontrol na binuo ng BroadNet mula sa dalawang paper na ito at inilabas bilang open source sa ilalim ng Apache-2.0 sa github.com/brntech/lsdf. Reverse proxy ito para sa OpenAI-compatible na chat completions API: itinuturo mo rito ang base URL ng client mo, at ipinapasa nito sa model server o provider mo. Sabi ng BroadNet, sinusuri nito ang mga request, response, streamed na chunk, streamed na tool-call argument, retrieved na context at reasoning field, at hiwalay nitong nililinis ang mga trace at log.
Ito ang recall na iniuulat ng evaluation ng BroadNet noong Mayo 2026 sa sarili nitong corpora:
| Detector stack | Credential replay | Clinical PHI | Malawak na English PII |
|---|---|---|---|
| Regex lang | 0.944 | 0.019 | 0.208 |
| Microsoft Presidio | 0.194 | 0.056 | 0.326 |
| Mga broad-PII detector ng LSDF | 1.000 | 0.944 | 0.685 |
Mga numero ito ng isang vendor para sa sarili nitong tool, sa corpora na pinili nito. Kapaki-pakinabang ang mga ito bilang panimula, at kasama sa repository ang replay para ma-check mo ang mga ito. Gumagana ang LSDF sa harap ng anumang model, kasama ang mga hindi hino-host ng BroadNet.
Ano ang mga limitasyon?
Preprint ang paper, hindi peer-reviewed. Sa ilalim ng responsible publication policy ng BroadNet, hindi isinasama sa pampublikong bersyon ang eksaktong mga prompt, format ng credential at threshold, at ibinabahagi ang mga ito sa mga model provider at researcher kapag hiniling. Mabilis magbago ang mga bersyon ng model, kaya ang hatol mula Abril 2026 ay dahilan para mag-test, hindi kapalit ng pag-test.
