Safety Map ialah tinjauan BroadNet tentang cara model bahasa besar mengendalikan data sensitif. Pracetak itu, The Safety Map: What Does and Doesn’t Transfer in LLM Sensitive-Data Handling, diterbitkan di Zenodo pada 22 April 2026 di bawah DOI 10.5281/zenodo.19688433, dengan Mohammad Al Zubaidi sebagai pengarang. Ia ialah pendamping kepada kaedah penilaian data sensitif BroadNet.
Yang berikut ialah ringkasan kami tentang abstrak dan halaman penyelidikan BroadNet. Keputusannya adalah milik BroadNet.
Apakah yang diliputi oleh tinjauan ini?
| Dimensi | Liputan |
|---|---|
| Model | 39, daripada 14 makmal bebas |
| Senario probe | 7 |
| Kategori | Kelayakan, PII, maklumat kesihatan dilindungi (PHI), nombor akaun kewangan, pengimbasan pencegahan kehilangan data (DLP) |
| Bukti | 135+ gabungan model-probe yang dikelaskan daripada kira-kira 1,300 penilaian berbilang larian |
Katalog BroadNet menyatakan ia telah melalukan kira-kira 90 model jauh dan API, yang tidak pernah dijalankan pada perkakasannya sendiri, melalui abah-abah ujian keselamatan, penghalaan dan bahasa Arabnya, dan dapatan itu menyumbang kepada peta ini.
Apakah dapatan utamanya?
Keselamatan ialah permukaan, bukan satu skor. Ia berbeza mengikut tiga paksi yang bertindan:
- Seni bina. Kertas ini melaporkan lantai kapasiti kira-kira 24B parameter aktif untuk kelayakan, merentas reka bentuk penghalaan, dengan model mixture-of-experts yang kecil bahagian aktifnya sebagai kes utama.
- Generasi. Kualiti penjajaran mengalihkan sempadan dalam satu keluarga model.
- Pelaburan makmal dalam penjajaran. Label perdana daripada makmal terkenal bukan jaminan.
Tiada satu pun daripada ketiga-tiganya meramal keselamatan secara bersendirian; ia bergabung.
Keselamatan tidak berpindah antara kategori. Pengendalian kelayakan dan nombor Social Security yang bersih tidak terbawa kepada nama, rekod kesihatan atau nombor akaun dalam model yang sama.
Saluran output bocor secara bebas. Inilah dapatan yang paling berat dari segi praktikal:
- Daripada 73 larian yang mengisi
tool_calls.arguments, 20 menghantar nilai sensitif melalui tool call. Antara model di sebalik larian itu ialah Kimi K2.6 daripada Moonshot, diuji pada hari pelancarannya, model yang selain itu dinilai oleh kertas ini sebagai selamat dalam berbilang larian untuk kelayakan, PII, data kewangan dan DLP. - Daripada 43 larian di mana penyedia mengisi
reasoning_contentdengan sekurang-kurangnya 20 aksara, 29 membocorkan nilai sensitif ke dalam penaakulan sedangkan balasan chat dinilai selamat, terlepas atau terpotong.
Pemangkasan boleh merosakkan keselamatan. Dua versi terpangkas yang berasingan bagi barisan Llama Meta, dihasilkan oleh NVIDIA dengan carian seni bina neural, merosakkan keselamatan data kesihatan melalui saluran output yang berbeza.
Kertas ini berakhir dengan kedudukan lima peringkat. Kelompok teratasnya, selamat secara seragam dalam setiap kategori yang diuji, ialah Claude Opus 4.7, GPT-5.4 dan GPT-5.4-mini, Gemini 3 Flash dan Gemini 3.1 Pro. Abstrak menyatakan model perdana xAI Grok dan Meta Llama tidak termasuk dalam kelompok itu.
Apakah yang patut anda ubah dalam tindanan anda sendiri?
- Tapis setiap saluran. Semakan pada balasan yang kelihatan terlepas argumen tool call dan medan penaakulan. Jika anda menggunakan tool calling atau model penaakulan, periksa kedua-duanya.
- Uji mengikut kategori. Keputusan bersih untuk kelayakan tidak memberitahu apa-apa tentang data kesihatan atau gaji.
- Uji semula apabila model dikemas kini. Keputusan Kimi K2.6 datang daripada model pada hari pelancaran.
- Sunting dahulu jika boleh. Model tidak boleh membocorkan apa yang tidak pernah dilihatnya. Panduan data sensitif kami menunjukkan penyuntingan pemegang tempat dalam Python.
Apakah itu LSDF?
LSDF, LLM Sensitive Data Firewall, ialah kawalan yang dibina BroadNet daripada dua kertas ini dan dikeluarkan sebagai sumber terbuka di bawah Apache-2.0 di github.com/brntech/lsdf. Ia ialah proksi songsang untuk API chat completions yang serasi OpenAI: anda menghalakan base URL klien anda kepadanya, dan ia memajukan ke pelayan model atau penyedia anda. BroadNet menyatakan ia memeriksa permintaan, respons, cebisan strim, argumen tool call yang distrim, konteks yang diambil dan medan penaakulan, serta membersihkan jejak dan log secara berasingan.
Penilaian BroadNet pada Mei 2026 atas korpus sendiri melaporkan dapatan semula (recall) ini:
| Tindanan pengesan | Main semula kelayakan | PHI klinikal | PII bahasa Inggeris luas |
|---|---|---|---|
| Regex sahaja | 0.944 | 0.019 | 0.208 |
| Microsoft Presidio | 0.194 | 0.056 | 0.326 |
| Pengesan PII luas LSDF | 1.000 | 0.944 | 0.685 |
Ini angka vendor untuk alatnya sendiri, pada korpus yang dipilihnya. Ia berguna sebagai titik permulaan, dan repositori menyertakan main semula supaya anda boleh menyemaknya. LSDF berfungsi di hadapan sebarang model, termasuk model yang tidak dihoskan oleh BroadNet.
Apakah batasannya?
Kertas ini ialah pracetak, belum disemak rakan sebidang. Di bawah dasar penerbitan bertanggungjawab BroadNet, prompt yang tepat, format kelayakan dan ambang ditahan daripada versi awam dan dikongsi dengan penyedia model dan penyelidik atas permintaan. Versi model berubah dengan pantas, jadi keputusan dari April 2026 ialah sebab untuk menguji, bukan pengganti ujian.
