BroadRouter

The Safety Map: bagaimana 39 LLM mengendalikan data sensitif

Oleh pasukan BroadNet Inference · 3 minit bacaan · Diterbitkan · Dikemas kini

Safety Map ialah pracetak BroadNet dari April 2026 (DOI 10.5281/zenodo.19688433). Ia menguji 39 model daripada 14 makmal pada 7 probe merentas kelayakan, PII, data kesihatan, nombor akaun dan pengimbasan DLP, dalam kira-kira 1,300 penilaian berbilang larian. Keselamatan tidak berpindah antara kategori atau saluran output: 20 daripada 73 larian yang mengisi argumen tool call membocorkan data melaluinya.

Safety Map ialah tinjauan BroadNet tentang cara model bahasa besar mengendalikan data sensitif. Pracetak itu, The Safety Map: What Does and Doesn’t Transfer in LLM Sensitive-Data Handling, diterbitkan di Zenodo pada 22 April 2026 di bawah DOI 10.5281/zenodo.19688433, dengan Mohammad Al Zubaidi sebagai pengarang. Ia ialah pendamping kepada kaedah penilaian data sensitif BroadNet.

Yang berikut ialah ringkasan kami tentang abstrak dan halaman penyelidikan BroadNet. Keputusannya adalah milik BroadNet.

Apakah yang diliputi oleh tinjauan ini?

Dimensi Liputan
Model 39, daripada 14 makmal bebas
Senario probe 7
Kategori Kelayakan, PII, maklumat kesihatan dilindungi (PHI), nombor akaun kewangan, pengimbasan pencegahan kehilangan data (DLP)
Bukti 135+ gabungan model-probe yang dikelaskan daripada kira-kira 1,300 penilaian berbilang larian

Katalog BroadNet menyatakan ia telah melalukan kira-kira 90 model jauh dan API, yang tidak pernah dijalankan pada perkakasannya sendiri, melalui abah-abah ujian keselamatan, penghalaan dan bahasa Arabnya, dan dapatan itu menyumbang kepada peta ini.

Apakah dapatan utamanya?

Keselamatan ialah permukaan, bukan satu skor. Ia berbeza mengikut tiga paksi yang bertindan:

  • Seni bina. Kertas ini melaporkan lantai kapasiti kira-kira 24B parameter aktif untuk kelayakan, merentas reka bentuk penghalaan, dengan model mixture-of-experts yang kecil bahagian aktifnya sebagai kes utama.
  • Generasi. Kualiti penjajaran mengalihkan sempadan dalam satu keluarga model.
  • Pelaburan makmal dalam penjajaran. Label perdana daripada makmal terkenal bukan jaminan.

Tiada satu pun daripada ketiga-tiganya meramal keselamatan secara bersendirian; ia bergabung.

Keselamatan tidak berpindah antara kategori. Pengendalian kelayakan dan nombor Social Security yang bersih tidak terbawa kepada nama, rekod kesihatan atau nombor akaun dalam model yang sama.

Saluran output bocor secara bebas. Inilah dapatan yang paling berat dari segi praktikal:

  • Daripada 73 larian yang mengisi tool_calls.arguments, 20 menghantar nilai sensitif melalui tool call. Antara model di sebalik larian itu ialah Kimi K2.6 daripada Moonshot, diuji pada hari pelancarannya, model yang selain itu dinilai oleh kertas ini sebagai selamat dalam berbilang larian untuk kelayakan, PII, data kewangan dan DLP.
  • Daripada 43 larian di mana penyedia mengisi reasoning_content dengan sekurang-kurangnya 20 aksara, 29 membocorkan nilai sensitif ke dalam penaakulan sedangkan balasan chat dinilai selamat, terlepas atau terpotong.

Pemangkasan boleh merosakkan keselamatan. Dua versi terpangkas yang berasingan bagi barisan Llama Meta, dihasilkan oleh NVIDIA dengan carian seni bina neural, merosakkan keselamatan data kesihatan melalui saluran output yang berbeza.

Kertas ini berakhir dengan kedudukan lima peringkat. Kelompok teratasnya, selamat secara seragam dalam setiap kategori yang diuji, ialah Claude Opus 4.7, GPT-5.4 dan GPT-5.4-mini, Gemini 3 Flash dan Gemini 3.1 Pro. Abstrak menyatakan model perdana xAI Grok dan Meta Llama tidak termasuk dalam kelompok itu.

Apakah yang patut anda ubah dalam tindanan anda sendiri?

  1. Tapis setiap saluran. Semakan pada balasan yang kelihatan terlepas argumen tool call dan medan penaakulan. Jika anda menggunakan tool calling atau model penaakulan, periksa kedua-duanya.
  2. Uji mengikut kategori. Keputusan bersih untuk kelayakan tidak memberitahu apa-apa tentang data kesihatan atau gaji.
  3. Uji semula apabila model dikemas kini. Keputusan Kimi K2.6 datang daripada model pada hari pelancaran.
  4. Sunting dahulu jika boleh. Model tidak boleh membocorkan apa yang tidak pernah dilihatnya. Panduan data sensitif kami menunjukkan penyuntingan pemegang tempat dalam Python.

Apakah itu LSDF?

LSDF, LLM Sensitive Data Firewall, ialah kawalan yang dibina BroadNet daripada dua kertas ini dan dikeluarkan sebagai sumber terbuka di bawah Apache-2.0 di github.com/brntech/lsdf. Ia ialah proksi songsang untuk API chat completions yang serasi OpenAI: anda menghalakan base URL klien anda kepadanya, dan ia memajukan ke pelayan model atau penyedia anda. BroadNet menyatakan ia memeriksa permintaan, respons, cebisan strim, argumen tool call yang distrim, konteks yang diambil dan medan penaakulan, serta membersihkan jejak dan log secara berasingan.

Penilaian BroadNet pada Mei 2026 atas korpus sendiri melaporkan dapatan semula (recall) ini:

Tindanan pengesan Main semula kelayakan PHI klinikal PII bahasa Inggeris luas
Regex sahaja 0.944 0.019 0.208
Microsoft Presidio 0.194 0.056 0.326
Pengesan PII luas LSDF 1.000 0.944 0.685

Ini angka vendor untuk alatnya sendiri, pada korpus yang dipilihnya. Ia berguna sebagai titik permulaan, dan repositori menyertakan main semula supaya anda boleh menyemaknya. LSDF berfungsi di hadapan sebarang model, termasuk model yang tidak dihoskan oleh BroadNet.

Apakah batasannya?

Kertas ini ialah pracetak, belum disemak rakan sebidang. Di bawah dasar penerbitan bertanggungjawab BroadNet, prompt yang tepat, format kelayakan dan ambang ditahan daripada versi awam dan dikongsi dengan penyedia model dan penyelidik atas permintaan. Versi model berubah dengan pantas, jadi keputusan dari April 2026 ialah sebab untuk menguji, bukan pengganti ujian.

Soalan lazim

Model manakah yang paling baik dalam Safety Map?

Abstrak meletakkan kelompok penjajaran barisan hadapan di atas, selamat secara seragam dalam setiap kategori yang diuji: Claude Opus 4.7, GPT-5.4 dan GPT-5.4-mini, Gemini 3 Flash dan Gemini 3.1 Pro. Claude Sonnet 4.6 berada tepat di bawahnya, dengan satu kebocoran data kesihatan yang hanya melibatkan tarikh lahir dalam 15 larian.

Adakah model yang tidak pernah membocorkan kunci API selamat dengan data pesakit?

Belum tentu. Kertas ini mendapati keselamatan terpisah mengikut kategori: model yang melindungi kelayakan, nombor Social Security dan kata laluan pangkalan data masih boleh menamakan pekerja dalam dokumen gaji pada setiap larian.

Mengapakah tool call penting?

Kerana banyak penapis hanya menyemak balasan chat. Daripada 73 larian di mana model mengisi argumen tool call, 20 menghantar nilai sensitif melalui saluran itu, termasuk pada model yang selain itu selamat dalam berbilang larian.

Adakah model mixture-of-experts kecil lebih banyak membocorkan data?

Kertas ini melaporkan lantai kapasiti kira-kira 24B parameter aktif untuk kelayakan, dengan reka bentuk mixture-of-experts yang kecil bahagian aktifnya sebagai manifestasi utamanya. Catatan pengamal BroadNet menyatakan ia belum menemui model MoE di bawah 24B parameter aktif yang tidak bocor pada probe data berstrukturnya.

Adakah model di BroadNet Inference termasuk dalam Safety Map?

Abstrak tidak menyenaraikan keputusan setiap model untuknya, dan pracetak ini bertarikh April 2026, jadi model yang dikeluarkan kemudian tidak mungkin ada di dalamnya. Gemma 4 VL 26B mempunyai kira-kira 4B parameter aktif, jadi uji pada probe data sensitif anda sendiri, atau sunting sebelum menghantar, jika ia akan melihat kelayakan atau data peribadi.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity