BroadRouter
Mulai

Cara menguji keamanan data sensitif pada LLM: metode BroadNet

Oleh tim BroadNet Inference · 3 menit baca · Dipublikasikan

Preprint BroadNet dari April 2026 (DOI 10.5281/zenodo.19574049, juga ada di SSRN) menetapkan uji keamanan data sensitif sebelum deployment. Uji empat kategori (kredensial, PII, data kesehatan, dan data keuangan) secara terpisah, beri skor kasus bocor dan terlewat sebagai kegagalan berbeda, gunakan skor biner, dan jalankan setiap uji setidaknya tiga kali. Dalam pengujiannya, aturan prompt dan fine-tuning dengan contoh negatif justru memperparah kebocoran.

Cards reading Name and Email turning into the placeholders [PERSON] and [EMAIL], with the text "Redact. Process. Restore." and "LSDF by BroadNet".

Divisi riset BroadNet menerbitkan metode praktis untuk menguji apakah large language model membocorkan data sensitif sebelum Anda men-deploy-nya. Preprint berjudul How to Evaluate an LLM for Sensitive Data Safety Before Deploying It tersedia di Zenodo dengan DOI 10.5281/zenodo.19574049, bertanggal 14 April 2026, dan dicerminkan di SSRN. Rekaman Zenodo-nya mencantumkan Mohammad Al Zubaidi sebagai penulis.

Halaman ini merangkum metode dan temuannya. Ini adalah karya BroadNet, dan temuannya adalah milik BroadNet; kami belum menjalankannya ulang.

Kenapa benchmark biasa tidak menangkap masalah ini?

Benchmark publik mengukur kemampuan: apa yang bisa dilakukan model dalam kondisi terbaiknya. Model yang di-deploy untuk mengaudit file konfigurasi atau catatan klinis juga harus tidak melakukan sesuatu: mengulang rahasia yang ditemukannya. Contoh di makalah ini memperjelasnya. Model yang mendapat skor 95 di 99 tugas lalu menyalin API key di tugas keseratus memiliki rata-rata 94 dan tetap tidak bisa dipakai di produksi.

BroadNet menyebut ini menguji batas bawah, bukan batas atas, dan makalah ini memperlakukan “capability and constraint” (Terjemahan BroadRouter: kemampuan dan batasan) sebagai sumbu yang independen.

Apa yang diuji metode ini?

Empat kategori, masing-masing diuji tersendiri:

Kategori Contoh Cara model mengenalinya
Kredensial API key, token, kunci SSH, password database Sebagian besar dari format; password di connection string tidak punya petunjuk format
Personally identifiable information (PII) Nama, email, nomor telepon, nomor identitas resmi Format untuk ID terstruktur, makna untuk teks bebas
Protected health information (PHI) Diagnosis, resep, catatan klinis Sering dari konteks: diagnosis di samping sebuah nama
Data keuangan Nomor rekening, saldo, transaksi Format, tetapi lebih jarang dianggap sensitif

Abstraknya melaporkan pengujian terhadap “24+ models across 6 model families” (Terjemahan BroadRouter: lebih dari 24 model dari 6 keluarga model) dan menemukan hierarki yang jelas: pengenalan berbasis format, seperti kredensial terstruktur dan nomor Social Security, jauh lebih andal daripada pengenalan berbasis konteks, seperti nama yang menjadi sensitif ketika berada di samping diagnosis. Satu model dengan tingkat kebocoran kredensial 0% membocorkan identitas pasien di setiap run uji PHI.

Bagaimana hasilnya harus diberi skor?

Makalah ini mengusulkan protokol minimum:

  1. Skor biner. Setiap run aman atau tidak; tidak ada nilai parsial untuk jawaban yang “sebagian besar aman”.
  2. Bocor dan terlewat diberi skor terpisah. Menggabungkannya menjadi satu angka menyembunyikan yang paling penting untuk kasus penggunaan Anda.
  3. Beberapa run. Tiga atau lebih per model dan probe, karena model yang sama bisa lulus hari ini dan bocor besoknya.
  4. Per kategori. Keamanan pada kredensial tidak mengatakan apa pun tentang keamanan pada rekam medis.

Tulisan praktisi BroadNet menambahkan aturan operasional yang dipakainya dalam pilot: gunakan data sintetis saja, uji konfigurasi deployment lengkap (termasuk system prompt, tools, dan retrieval), wajibkan lima run bersih berturut-turut sebelum produksi, dan uji ulang setiap bulan untuk model self-hosted serta setiap minggu untuk model pihak ketiga yang sering diperbarui.

Apa yang tidak berhasil?

Dua perbaikan yang umum justru memperburuk keadaan dalam pengujian BroadNet:

  • Instruksi prompt. Menambahkan “jangan ungkapkan kredensial” kadang diabaikan, dan strategi prompt yang paling keras justru menyebabkan kebocoran pada model yang bersih di baseline.
  • Fine-tuning dengan contoh negatif. Melatih model untuk menolak suatu kategori justru menaikkan tingkat kebocoran, bukan menurunkannya.

Yang bertahan, menurut BroadNet, adalah tiga lapisan sekaligus: pilih model berisiko lebih rendah untuk kategori tersebut, filter output dengan alat deterministik (BroadNet menyebut Microsoft Presidio dan LLM Guard), dan lakukan redaksi pada input sebelum prompt disusun jika tugasnya tidak membutuhkan nilai-nilai itu. Panduan kami tentang mengirim data sensitif ke API LLM menunjukkan langkah redaksi dalam kode.

Apa yang tidak diterbitkan makalah ini?

Berdasarkan kebijakan publikasi bertanggung jawabnya, BroadNet menerbitkan kategori, filosofi penilaian, ukuran sampel, dan catatan kehati-hatian, tetapi tidak menerbitkan template prompt persis, format kredensial, maupun ambang lulus dan gagal. Alasannya: menerbitkannya akan menurunkan upaya yang dibutuhkan untuk ekstraksi, sementara pihak yang men-deploy tidak punya pertahanan. Penyedia model dan peneliti keamanan bisa memintanya. Dengan begitu metodenya bisa direproduksi secara bentuk, tetapi tidak angka demi angka.

Apa hubungannya dengan BroadNet Inference?

Ini adalah uji terhadap model, bukan terhadap penyedia. Uji ini berlaku untuk model apa pun di API mana pun, termasuk yang ada di BroadNet Inference. Makalah pendampingnya, Safety Map, menerapkannya pada 39 model dari 14 lab dan menemukan bahwa nilai sensitif juga bisa keluar lewat argumen tool call dan field penalaran. BroadNet kemudian merilis firewall open-source yang dibangun di atas kedua makalah tersebut, LSDF, yang dijelaskan dalam ringkasan Safety Map.

Penyimpanan data oleh penyedia adalah pertanyaan terpisah: zero data retention mencakup apa yang disimpan BroadNet, bukan apa yang ditulis model ke dalam sistem Anda sendiri.

Pertanyaan umum

Apa bedanya bocor dan terlewat?

Bocor berarti model mengulang nilai sensitif di tempat yang tidak semestinya, misalnya menyalin API key ke dalam laporan. Terlewat berarti model gagal menandai nilai sensitif padahal itu tugasnya. Metode BroadNet memberi skor keduanya secara terpisah karena risikonya berbeda.

Berapa kali uji ini perlu dijalankan?

Setidaknya tiga kali per probe. Protokol praktisi BroadNet menambahkan lima run bersih berturut-turut sebelum menyatakan model aman untuk produksi, tersebar dalam setidaknya dua hari kalender untuk menangkap perubahan di sisi penyedia.

Apakah system prompt bertuliskan "never reveal secrets" membantu?

Tidak bisa diandalkan. Dalam pengujian BroadNet, strategi prompt yang paling keras justru menyebabkan kebocoran pada model yang bersih tanpa prompt itu, dan fine-tuning dengan contoh negatif juga menaikkan tingkat kebocoran.

Bisakah saya mendapatkan prompt uji persis dari BroadNet?

Tidak secara publik. Berdasarkan kebijakan publikasi bertanggung jawabnya, BroadNet tidak menerbitkan template prompt persis, format kredensial, maupun ambang lulus atau gagal, dan membagikannya kepada penyedia model dan peneliti keamanan atas permintaan.

Apakah zero data retention membuat uji ini tidak diperlukan?

Tidak. Zero data retention mengatur apa yang disimpan penyedia. Uji ini menyangkut apa yang ditulis model ke dalam output-nya sendiri, yang kemudian masuk ke log, tiket, dan sistem hilir Anda.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity