---
title: "Penilaian keselamatan data sensitif LLM: kaedah BroadNet"
description: "Kaedah BroadNet untuk menguji sama ada LLM membocorkan kelayakan, PII, data kesihatan atau kewangan sebelum digunakan: kategori, bocor vs terlepas, 3+ larian."
url: https://broadrouter.com/ms/blog/llm-sensitive-data-safety-evaluation-method/
lang: ms
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan daripada bahasa Inggeris dengan bantuan AI. [Baca versi asal dalam bahasa Inggeris](https://broadrouter.com/blog/llm-sensitive-data-safety-evaluation-method/) (dikemas kini 2026-11-15).

# Cara menguji keselamatan data sensitif LLM: kaedah BroadNet

Oleh pasukan BroadNet Inference · 3 minit bacaan · Diterbitkan 2026-11-15

Pracetak BroadNet April 2026 (DOI 10.5281/zenodo.19574049, juga di SSRN) menggariskan ujian keselamatan data sensitif sebelum penggunaan. Uji empat kategori (kelayakan, PII, data kesihatan dan kewangan) secara berasingan, beri skor kebocoran dan keterlepasan sebagai kegagalan berbeza, gunakan pemarkahan binari, dan jalankan setiap ujian sekurang-kurangnya tiga kali. Dalam ujiannya, peraturan prompt dan penalaan halus pada contoh negatif memburukkan kebocoran.

## Perkara utama

-   Pracetak di Zenodo, DOI 10.5281/zenodo.19574049 (14 April 2026, CC BY 4.0), dicerminkan di SSRN sebagai 10.2139/ssrn.6565139. Belum disemak rakan sebidang.
-   Penanda aras keupayaan mengukur apa yang boleh dilakukan model; kaedah ini mengukur apa yang tidak boleh dilakukannya.
-   Dua mod kegagalan: bocor (mengulang nilai sensitif) dan terlepas (tidak menandakannya). Beri skor secara berasingan.
-   Keselamatan tidak deterministik: asaskan setiap keputusan pada 3 larian atau lebih, jangan sekali-kali pada satu laluan.
-   Dalam ujian BroadNet, arahan prompt yang agresif dan penalaan halus pada contoh negatif meningkatkan kadar kebocoran.

**Dalam halaman ini**

1.  Mengapakah penanda aras biasa tidak menangkap perkara ini?
2.  Apakah yang diuji oleh kaedah ini?
3.  Bagaimanakah keputusan patut diberi skor?
4.  Apakah yang tidak berkesan?
5.  Apakah yang tidak diterbitkan kertas ini?
6.  Bagaimanakah ini berkait dengan BroadNet Inference?

_[image: Cards reading Name and Email turning into the placeholders [PERSON] and [EMAIL], with the text "Redact. Process. Restore." and "LSDF by BroadNet".]_

Bahagian penyelidikan BroadNet menerbitkan kaedah praktikal untuk menguji sama ada model bahasa besar membocorkan data sensitif sebelum anda menggunakannya. Pracetak itu, _How to Evaluate an LLM for Sensitive Data Safety Before Deploying It_, berada di Zenodo di bawah DOI [10.5281/zenodo.19574049](https://doi.org/10.5281/zenodo.19574049), bertarikh 14 April 2026, dan dicerminkan di SSRN. Rekod Zenodonya menyenaraikan Mohammad Al Zubaidi sebagai pengarang.

Halaman ini meringkaskan kaedah dan dapatannya. Ia ialah kerja BroadNet, dan dapatannya milik BroadNet; kami belum menjalankannya semula.

## Mengapakah penanda aras biasa tidak menangkap perkara ini?

Penanda aras awam mengukur keupayaan: apa yang boleh dilakukan model pada tahap terbaiknya. Model yang digunakan untuk mengaudit fail konfigurasi atau nota klinikal juga mesti tidak melakukan sesuatu: mengulang rahsia yang ditemuinya. Contoh dalam kertas ini menjelaskannya. Model yang mendapat skor 95 pada 99 tugas dan memaparkan semula kunci API pada tugas keseratus mempunyai purata 94 dan masih tidak boleh digunakan dalam produksi.

BroadNet menamakan ini menguji lantai dan bukannya siling, dan kertas ini menganggap “capability and constraint” (Terjemahan: keupayaan dan kekangan) sebagai paksi yang bebas.

## Apakah yang diuji oleh kaedah ini?

Empat kategori, setiap satu diuji secara berasingan:

| Kategori | Contoh | Cara model mengecamnya |
| --- | --- | --- |
| Kelayakan | Kunci API, token, kunci SSH, kata laluan pangkalan data | Kebanyakannya melalui format; kata laluan dalam rentetan sambungan tiada petunjuk format |
| Maklumat pengenalan peribadi (PII) | Nama, e-mel, nombor telefon, ID kerajaan | Format untuk ID berstruktur, makna untuk teks bebas |
| Maklumat kesihatan dilindungi (PHI) | Diagnosis, preskripsi, nota klinikal | Selalunya melalui konteks: diagnosis di sebelah nama |
| Data kewangan | Nombor akaun, baki, transaksi | Format, tetapi kurang kerap dianggap sensitif |

Abstrak melaporkan menguji “24+ models across 6 model families” (Terjemahan: 24+ model merentas 6 keluarga model) dan mendapati hierarki yang jelas: pengecaman berasaskan format, seperti kelayakan berstruktur dan nombor Social Security, jauh lebih boleh dipercayai berbanding pengecaman berasaskan konteks, seperti nama yang menjadi sensitif apabila berada di sebelah diagnosis. Satu model dengan kadar kebocoran kelayakan 0% membocorkan pengecam pesakit pada setiap larian ujian PHI.

## Bagaimanakah keputusan patut diberi skor?

Kertas ini mencadangkan protokol minimum:

1.  **Pemarkahan binari.** Setiap larian sama ada selamat atau tidak; tiada markah separa untuk jawapan “kebanyakannya selamat”.
2.  **Bocor dan terlepas diberi skor secara berasingan.** Menggabungkannya menjadi satu angka menyembunyikan yang penting untuk kes penggunaan anda.
3.  **Berbilang larian.** Tiga atau lebih bagi setiap model dan probe, kerana model yang sama boleh lulus pada satu hari dan bocor pada hari berikutnya.
4.  **Kategori demi kategori.** Keselamatan untuk kelayakan tidak memberitahu apa-apa tentang keselamatan rekod kesihatan.

Catatan pengamal BroadNet menambah peraturan operasi yang digunakannya dalam projek rintis: gunakan data sintetik sahaja, uji konfigurasi penggunaan penuh (termasuk system prompt, tools dan pengambilan semula), wajibkan lima larian bersih berturut-turut sebelum produksi, dan uji semula setiap bulan untuk model hos sendiri dan setiap minggu untuk model pihak ketiga yang kerap dikemas kini.

## Apakah yang tidak berkesan?

Dua pembaikan biasa memburukkan keadaan dalam ujian BroadNet:

-   **Arahan prompt.** Menambah “do not reveal credentials” kadangkala diabaikan, dan strategi prompt yang paling tegas menyebabkan kebocoran pada model yang bersih pada garis dasar.
-   **Penalaan halus pada contoh negatif.** Melatih model untuk menolak satu kategori meningkatkan kadar kebocoran dan bukannya menurunkannya.

Yang bertahan, menurut BroadNet, ialah tiga lapisan bersama-sama: pilih model berisiko lebih rendah untuk kategori itu, tapis output dengan alat deterministik (ia menamakan [Microsoft Presidio](https://github.com/microsoft/presidio) dan LLM Guard), dan sunting input sebelum prompt dibina apabila tugas tidak memerlukan nilai-nilai itu. [Panduan kami untuk menghantar data sensitif ke API LLM](https://broadrouter.com/ms/blog/llm-api-sensitive-data/) menunjukkan langkah penyuntingan dalam kod.

## Apakah yang tidak diterbitkan kertas ini?

Di bawah dasar penerbitan bertanggungjawabnya, BroadNet menerbitkan kategori, falsafah pemarkahan, saiz sampel dan kaveat, tetapi bukan templat prompt yang tepat, format kelayakan atau ambang lulus dan gagal. Alasannya: menerbitkannya akan mengurangkan usaha yang diperlukan untuk pengekstrakan tanpa pertahanan yang tersedia untuk pihak yang menggunakan model. Penyedia model dan penyelidik keselamatan boleh memintanya. Ini menjadikan kaedah ini boleh diulang dari segi bentuk, tetapi bukan angka demi angka.

## Bagaimanakah ini berkait dengan BroadNet Inference?

Ini ujian model, bukan ujian penyedia. Ia terpakai kepada sebarang model pada sebarang API, termasuk model di [BroadNet Inference](https://broadrouter.com/ms/models/). Kertas pendampingnya, [Safety Map](https://broadrouter.com/ms/blog/llm-safety-map-39-models/), menggunakannya pada 39 model daripada 14 makmal dan mendapati nilai sensitif juga boleh keluar melalui argumen tool call dan medan penaakulan. BroadNet kemudian mengeluarkan tembok api sumber terbuka yang dibina atas kedua-dua kertas, LSDF, yang diterangkan dalam ringkasan Safety Map.

Pengekalan oleh penyedia ialah soalan berasingan: [pengekalan data sifar](https://broadrouter.com/ms/privacy/) meliputi apa yang disimpan BroadNet, bukan apa yang ditulis model ke dalam sistem anda sendiri.

Alat percuma untuk topik ini (Bahasa Inggeris)

-   [OpenAI-compatible API request builder](https://broadrouter.com/tools/api-request-builder/) One request, copied as curl, Python, Node or the OpenAI SDKs.
-   [LLM API cost calculator](https://broadrouter.com/tools/llm-api-cost-calculator/) Price a workload on every model at once, with cache hits, reasoning and a flat-plan check.

[Alatan percuma (Bahasa Inggeris)](https://broadrouter.com/tools/)

## Istilah dalam artikel ini

[Kunci API (API key)](https://broadrouter.com/ms/glossary/api-key/)

Kunci API ialah rentetan rahsia yang mengenal pasti dan membenarkan klien yang memanggil sesuatu API. API LLM biasanya menjangkakannya dalam pengepala Authorization: Bearer, dan sesiapa yang memegang kunci itu boleh membuat permintaan yang dibilkan kepada akaun pemiliknya.

[PII (maklumat pengenalan peribadi)](https://broadrouter.com/ms/glossary/pii/)

PII (personally identifiable information) ialah maklumat yang boleh digunakan untuk membezakan atau menjejak identiti seseorang, seperti nama, nombor pengenalan atau rekod biometrik, serta maklumat lain yang dikaitkan atau boleh dikaitkan dengan orang itu. Istilah GDPR yang lebih luas ialah data peribadi. Dalam kerja LLM, penyuntingan PII membuangnya daripada prompt sebelum ia keluar dari sistem anda.

[Prompt sistem (system prompt)](https://broadrouter.com/ms/glossary/system-prompt/)

Prompt sistem ialah teks arahan yang dihantar oleh aplikasi kepada model bahasa sebelum perbualan, biasanya sebagai mesej dengan peranan system atau developer. Ia menetapkan peranan, peraturan, nada dan format output model, dan model sepatutnya mengutamakannya berbanding mesej pengguna yang bercanggah.

[Tetingkap konteks (context window)](https://broadrouter.com/ms/glossary/context-window/)

Tetingkap konteks ialah bilangan maksimum token yang boleh dikendalikan oleh model bahasa dalam satu permintaan. Ia meliputi prompt, sejarah perbualan, definisi alatan, imej dan output yang dijana, termasuk token penaakulan. Apa-apa yang tidak muat mesti dipotong, diringkaskan atau dipecahkan kepada beberapa permintaan.

[Fine-tuning (penalaan halus)](https://broadrouter.com/ms/glossary/fine-tuning/)

Fine-tuning ialah proses meneruskan latihan model bahasa yang telah dilatih dengan set data yang lebih kecil dan khusus tugas, seperti contoh perbualan, supaya pemberatnya berubah dan ia melaksanakan tugas atau gaya itu dengan lebih konsisten tanpa memerlukan arahan atau contoh panjang dalam setiap prompt.

[Token](https://broadrouter.com/ms/glossary/token/)

Token ialah unit teks yang dibaca dan ditulis oleh model bahasa: satu perkataan, sebahagian perkataan, tanda baca atau jujukan bait yang dihasilkan oleh tokenizer model itu. API LLM mengira, mengehadkan dan biasanya mengebil penggunaan dalam token.

[Tool calling (panggilan alatan)](https://broadrouter.com/ms/glossary/tool-calling/)

Tool calling, juga dipanggil function calling, ialah ciri API LLM di mana model memulangkan permintaan berstruktur untuk menjalankan fungsi yang ditakrifkan oleh pembangun, bersama argumen JSON. Aplikasi menjalankan fungsi itu dan menghantar hasilnya kembali; model sendiri tidak pernah menjalankan kod.

## Soalan lazim

### Apakah perbezaan antara bocor dan terlepas?

Bocor ialah apabila model mengulang nilai sensitif di tempat yang tidak sepatutnya, contohnya memaparkan semula kunci API ke dalam laporan. Terlepas ialah apabila model gagal menandakan nilai sensitif sedangkan itu tugasnya. Kaedah BroadNet memberi skor secara berasingan kerana risikonya berbeza.

### Berapa banyak larian yang diperlukan ujian ini?

Sekurang-kurangnya tiga bagi setiap probe. Protokol pengamal BroadNet menambah lima larian bersih berturut-turut sebelum ia menganggap model selamat untuk produksi, dijarakkan sekurang-kurangnya dua hari kalendar untuk menangkap perubahan di pihak penyedia.

### Adakah system prompt yang menyatakan "never reveal secrets" membantu?

Tidak secara konsisten. Dalam ujian BroadNet, strategi prompt yang paling tegas menyebabkan kebocoran pada model yang bersih tanpanya, dan penalaan halus pada contoh negatif juga meningkatkan kadar kebocoran.

### Bolehkah saya mendapatkan prompt ujian sebenar BroadNet?

Tidak secara awam. Di bawah dasar penerbitan bertanggungjawabnya, BroadNet menahan templat prompt yang tepat, format kelayakan dan ambang lulus atau gagal, dan berkongsinya dengan penyedia model dan penyelidik keselamatan atas permintaan.

### Adakah pengekalan data sifar menjadikan ujian ini tidak perlu?

Tidak. Pengekalan data sifar mengawal apa yang disimpan penyedia. Ujian ini tentang apa yang ditulis model ke dalam outputnya sendiri, yang kemudian masuk ke log, tiket dan sistem hiliran anda.

## Teruskan membaca

-   [The Safety Map: bagaimana 39 LLM mengendalikan data sensitif](https://broadrouter.com/ms/blog/llm-safety-map-39-models/)
-   [Menghantar data sensitif ke API LLM: sunting, kurangkan, kurangkan log](https://broadrouter.com/ms/blog/llm-api-sensitive-data/)
-   [Cara menilai LLM sebelum bertukar penyedia](https://broadrouter.com/ms/blog/evaluate-llm-before-switching/)
-   [API LLM dengan pengekalan data sifar: senarai semak 10 soalan](https://broadrouter.com/ms/blog/zero-data-retention-llm-api-checklist/)
-   [Undang-undang perlindungan data Mesir (Law 151 of 2020) dan API LLM](https://broadrouter.com/ms/blog/egypt-data-protection-law-llm-api/)
-   [PDPL Arab Saudi dan UAE serta API LLM: senarai semak rentas sempadan](https://broadrouter.com/ms/blog/saudi-uae-pdpl-llm-api-checklist/)

Cuba dengan beban kerja sebenar anda. Akaun baharu bermula dengan kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM dan Qwen3.8 memerlukan tambah nilai.

[Mulakan](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-blog-llm-sensitive-data-safety-evaluation-method&utm_content=page-cta) ·

**Sumber**

-   [Al Zubaidi, How to Evaluate an LLM for Sensitive Data Safety Before Deploying It, pracetak Zenodo, 2026-04-14 (rekod disemak 2026-11-15)](https://doi.org/10.5281/zenodo.19574049)
-   [Kertas yang sama di SSRN, abstrak 6565139 (DOI disenaraikan oleh BroadNet; disemak 2026-11-15)](https://doi.org/10.2139/ssrn.6565139)
-   [Blog BroadNet, How We Evaluate an LLM for Sensitive-Data Safety Before Deploying It (12 Mei 2026; disemak 2026-11-15) (Bahasa Inggeris)](https://www.broadnet.ai/blog/evaluating-llm-sensitive-data-safety)
-   [BroadNet Research: dasar penerbitan bertanggungjawab (disemak 2026-11-15) (Bahasa Inggeris)](https://www.broadnet.ai/research)
-   [Microsoft Presidio (disemak 2026-11-15)](https://github.com/microsoft/presidio)
