---
title: "Evaluasi keamanan data sensitif LLM: metode BroadNet"
description: "Metode BroadNet untuk menguji apakah LLM membocorkan kredensial, PII, data kesehatan atau keuangan sebelum deploy: kategori, bocor vs terlewat, 3+ run."
url: https://broadrouter.com/id/blog/llm-sensitive-data-safety-evaluation-method/
lang: id
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan dari bahasa Inggris dengan bantuan AI. [Baca versi asli bahasa Inggris](https://broadrouter.com/blog/llm-sensitive-data-safety-evaluation-method/) (diperbarui 2026-11-15).

# Cara menguji keamanan data sensitif pada LLM: metode BroadNet

Oleh tim BroadNet Inference · 3 menit baca · Dipublikasikan 2026-11-15

Preprint BroadNet dari April 2026 (DOI 10.5281/zenodo.19574049, juga ada di SSRN) menetapkan uji keamanan data sensitif sebelum deployment. Uji empat kategori (kredensial, PII, data kesehatan, dan data keuangan) secara terpisah, beri skor kasus bocor dan terlewat sebagai kegagalan berbeda, gunakan skor biner, dan jalankan setiap uji setidaknya tiga kali. Dalam pengujiannya, aturan prompt dan fine-tuning dengan contoh negatif justru memperparah kebocoran.

## Poin penting

-   Preprint di Zenodo, DOI 10.5281/zenodo.19574049 (14 April 2026, CC BY 4.0), dicerminkan di SSRN sebagai 10.2139/ssrn.6565139. Belum melalui peer review.
-   Benchmark kemampuan mengukur apa yang bisa dilakukan model; metode ini mengukur apa yang tidak boleh dilakukannya.
-   Dua mode kegagalan: bocor (mengulang nilai sensitif) dan terlewat (tidak menandainya). Beri skor secara terpisah.
-   Keamanan bersifat non-deterministik: dasarkan setiap penilaian pada 3 run atau lebih, jangan pernah satu kali jalan.
-   Dalam pengujian BroadNet, instruksi prompt yang agresif dan fine-tuning dengan contoh negatif justru menaikkan tingkat kebocoran.

**Di halaman ini**

1.  Kenapa benchmark biasa tidak menangkap masalah ini?
2.  Apa yang diuji metode ini?
3.  Bagaimana hasilnya harus diberi skor?
4.  Apa yang tidak berhasil?
5.  Apa yang tidak diterbitkan makalah ini?
6.  Apa hubungannya dengan BroadNet Inference?

_[image: Cards reading Name and Email turning into the placeholders [PERSON] and [EMAIL], with the text "Redact. Process. Restore." and "LSDF by BroadNet".]_

Divisi riset BroadNet menerbitkan metode praktis untuk menguji apakah large language model membocorkan data sensitif sebelum Anda men-deploy-nya. Preprint berjudul _How to Evaluate an LLM for Sensitive Data Safety Before Deploying It_ tersedia di Zenodo dengan DOI [10.5281/zenodo.19574049](https://doi.org/10.5281/zenodo.19574049), bertanggal 14 April 2026, dan dicerminkan di SSRN. Rekaman Zenodo-nya mencantumkan Mohammad Al Zubaidi sebagai penulis.

Halaman ini merangkum metode dan temuannya. Ini adalah karya BroadNet, dan temuannya adalah milik BroadNet; kami belum menjalankannya ulang.

## Kenapa benchmark biasa tidak menangkap masalah ini?

Benchmark publik mengukur kemampuan: apa yang bisa dilakukan model dalam kondisi terbaiknya. Model yang di-deploy untuk mengaudit file konfigurasi atau catatan klinis juga harus tidak melakukan sesuatu: mengulang rahasia yang ditemukannya. Contoh di makalah ini memperjelasnya. Model yang mendapat skor 95 di 99 tugas lalu menyalin API key di tugas keseratus memiliki rata-rata 94 dan tetap tidak bisa dipakai di produksi.

BroadNet menyebut ini menguji batas bawah, bukan batas atas, dan makalah ini memperlakukan “capability and constraint” (Terjemahan BroadRouter: kemampuan dan batasan) sebagai sumbu yang independen.

## Apa yang diuji metode ini?

Empat kategori, masing-masing diuji tersendiri:

| Kategori | Contoh | Cara model mengenalinya |
| --- | --- | --- |
| Kredensial | API key, token, kunci SSH, password database | Sebagian besar dari format; password di connection string tidak punya petunjuk format |
| Personally identifiable information (PII) | Nama, email, nomor telepon, nomor identitas resmi | Format untuk ID terstruktur, makna untuk teks bebas |
| Protected health information (PHI) | Diagnosis, resep, catatan klinis | Sering dari konteks: diagnosis di samping sebuah nama |
| Data keuangan | Nomor rekening, saldo, transaksi | Format, tetapi lebih jarang dianggap sensitif |

Abstraknya melaporkan pengujian terhadap “24+ models across 6 model families” (Terjemahan BroadRouter: lebih dari 24 model dari 6 keluarga model) dan menemukan hierarki yang jelas: pengenalan berbasis format, seperti kredensial terstruktur dan nomor Social Security, jauh lebih andal daripada pengenalan berbasis konteks, seperti nama yang menjadi sensitif ketika berada di samping diagnosis. Satu model dengan tingkat kebocoran kredensial 0% membocorkan identitas pasien di setiap run uji PHI.

## Bagaimana hasilnya harus diberi skor?

Makalah ini mengusulkan protokol minimum:

1.  **Skor biner.** Setiap run aman atau tidak; tidak ada nilai parsial untuk jawaban yang “sebagian besar aman”.
2.  **Bocor dan terlewat diberi skor terpisah.** Menggabungkannya menjadi satu angka menyembunyikan yang paling penting untuk kasus penggunaan Anda.
3.  **Beberapa run.** Tiga atau lebih per model dan probe, karena model yang sama bisa lulus hari ini dan bocor besoknya.
4.  **Per kategori.** Keamanan pada kredensial tidak mengatakan apa pun tentang keamanan pada rekam medis.

Tulisan praktisi BroadNet menambahkan aturan operasional yang dipakainya dalam pilot: gunakan data sintetis saja, uji konfigurasi deployment lengkap (termasuk system prompt, tools, dan retrieval), wajibkan lima run bersih berturut-turut sebelum produksi, dan uji ulang setiap bulan untuk model self-hosted serta setiap minggu untuk model pihak ketiga yang sering diperbarui.

## Apa yang tidak berhasil?

Dua perbaikan yang umum justru memperburuk keadaan dalam pengujian BroadNet:

-   **Instruksi prompt.** Menambahkan “jangan ungkapkan kredensial” kadang diabaikan, dan strategi prompt yang paling keras justru menyebabkan kebocoran pada model yang bersih di baseline.
-   **Fine-tuning dengan contoh negatif.** Melatih model untuk menolak suatu kategori justru menaikkan tingkat kebocoran, bukan menurunkannya.

Yang bertahan, menurut BroadNet, adalah tiga lapisan sekaligus: pilih model berisiko lebih rendah untuk kategori tersebut, filter output dengan alat deterministik (BroadNet menyebut [Microsoft Presidio](https://github.com/microsoft/presidio) dan LLM Guard), dan lakukan redaksi pada input sebelum prompt disusun jika tugasnya tidak membutuhkan nilai-nilai itu. [Panduan kami tentang mengirim data sensitif ke API LLM](https://broadrouter.com/id/blog/llm-api-sensitive-data/) menunjukkan langkah redaksi dalam kode.

## Apa yang tidak diterbitkan makalah ini?

Berdasarkan kebijakan publikasi bertanggung jawabnya, BroadNet menerbitkan kategori, filosofi penilaian, ukuran sampel, dan catatan kehati-hatian, tetapi tidak menerbitkan template prompt persis, format kredensial, maupun ambang lulus dan gagal. Alasannya: menerbitkannya akan menurunkan upaya yang dibutuhkan untuk ekstraksi, sementara pihak yang men-deploy tidak punya pertahanan. Penyedia model dan peneliti keamanan bisa memintanya. Dengan begitu metodenya bisa direproduksi secara bentuk, tetapi tidak angka demi angka.

## Apa hubungannya dengan BroadNet Inference?

Ini adalah uji terhadap model, bukan terhadap penyedia. Uji ini berlaku untuk model apa pun di API mana pun, termasuk yang ada di [BroadNet Inference](https://broadrouter.com/id/models/). Makalah pendampingnya, [Safety Map](https://broadrouter.com/id/blog/llm-safety-map-39-models/), menerapkannya pada 39 model dari 14 lab dan menemukan bahwa nilai sensitif juga bisa keluar lewat argumen tool call dan field penalaran. BroadNet kemudian merilis firewall open-source yang dibangun di atas kedua makalah tersebut, LSDF, yang dijelaskan dalam ringkasan Safety Map.

Penyimpanan data oleh penyedia adalah pertanyaan terpisah: [zero data retention](https://broadrouter.com/id/privacy/) mencakup apa yang disimpan BroadNet, bukan apa yang ditulis model ke dalam sistem Anda sendiri.

Alat gratis untuk topik ini (bahasa Inggris)

-   [OpenAI-compatible API request builder](https://broadrouter.com/tools/api-request-builder/) One request, copied as curl, Python, Node or the OpenAI SDKs.
-   [LLM API cost calculator](https://broadrouter.com/tools/llm-api-cost-calculator/) Price a workload on every model at once, with cache hits, reasoning and a flat-plan check.

[Alat gratis (bahasa Inggris)](https://broadrouter.com/tools/)

## Istilah dalam artikel ini

[Fine-tuning](https://broadrouter.com/id/glossary/fine-tuning/)

Fine-tuning adalah proses melanjutkan pelatihan model bahasa yang sudah dilatih sebelumnya dengan dataset yang lebih kecil dan khusus tugas, seperti contoh percakapan, sehingga bobotnya berubah dan model menjalankan tugas atau gaya itu dengan lebih andal tanpa perlu instruksi panjang atau contoh di setiap prompt.

[Kunci API (API key)](https://broadrouter.com/id/glossary/api-key/)

Kunci API adalah string rahasia yang mengidentifikasi dan mengotorisasi client yang memanggil API. API LLM biasanya mengharapkannya di header Authorization: Bearer, dan siapa pun yang memegang kunci itu bisa membuat permintaan yang ditagihkan ke akun pemiliknya.

[PII (personally identifiable information)](https://broadrouter.com/id/glossary/pii/)

PII (personally identifiable information) adalah informasi yang bisa dipakai untuk membedakan atau melacak identitas seseorang, seperti nama, nomor identitas, atau data biometrik, ditambah informasi lain yang terkait atau bisa dikaitkan dengan orang tersebut. Istilah GDPR yang lebih luas adalah data pribadi. Dalam kerja LLM, redaksi PII menghapusnya dari prompt sebelum keluar dari sistem Anda.

[System prompt (prompt sistem)](https://broadrouter.com/id/glossary/system-prompt/)

System prompt adalah teks instruksi yang dikirim aplikasi ke model bahasa sebelum percakapan, biasanya sebagai pesan dengan peran system atau developer. System prompt menetapkan peran, aturan, gaya bahasa, dan format output model, dan model dirancang untuk mengikutinya di atas pesan pengguna yang bertentangan.

[Zero data retention (ZDR)](https://broadrouter.com/id/glossary/zero-data-retention/)

Zero data retention (ZDR) adalah kebijakan penanganan data di mana penyedia AI memproses prompt dan output hanya untuk melayani permintaan dan tidak menyimpan konten itu sesudahnya, baik di log, cache, maupun data pelatihan. Catatan tanpa konten seperti jumlah token dan durasi biasanya tetap disimpan.

[Token](https://broadrouter.com/id/glossary/token/)

Token adalah satuan teks yang dibaca dan ditulis model bahasa: sebuah kata, bagian kata, tanda baca, atau urutan byte yang dihasilkan tokenizer model. API LLM menghitung, membatasi, dan biasanya menagih pemakaian dalam token.

[Tool calling (function calling)](https://broadrouter.com/id/glossary/tool-calling/)

Tool calling, disebut juga function calling, adalah fitur API LLM di mana model mengembalikan permintaan terstruktur untuk menjalankan fungsi yang didefinisikan developer, lengkap dengan argumen JSON. Aplikasi yang menjalankan fungsi itu dan mengirim hasilnya kembali; model tidak pernah menjalankan kode sendiri.

## Pertanyaan umum

### Apa bedanya bocor dan terlewat?

Bocor berarti model mengulang nilai sensitif di tempat yang tidak semestinya, misalnya menyalin API key ke dalam laporan. Terlewat berarti model gagal menandai nilai sensitif padahal itu tugasnya. Metode BroadNet memberi skor keduanya secara terpisah karena risikonya berbeda.

### Berapa kali uji ini perlu dijalankan?

Setidaknya tiga kali per probe. Protokol praktisi BroadNet menambahkan lima run bersih berturut-turut sebelum menyatakan model aman untuk produksi, tersebar dalam setidaknya dua hari kalender untuk menangkap perubahan di sisi penyedia.

### Apakah system prompt bertuliskan "never reveal secrets" membantu?

Tidak bisa diandalkan. Dalam pengujian BroadNet, strategi prompt yang paling keras justru menyebabkan kebocoran pada model yang bersih tanpa prompt itu, dan fine-tuning dengan contoh negatif juga menaikkan tingkat kebocoran.

### Bisakah saya mendapatkan prompt uji persis dari BroadNet?

Tidak secara publik. Berdasarkan kebijakan publikasi bertanggung jawabnya, BroadNet tidak menerbitkan template prompt persis, format kredensial, maupun ambang lulus atau gagal, dan membagikannya kepada penyedia model dan peneliti keamanan atas permintaan.

### Apakah zero data retention membuat uji ini tidak diperlukan?

Tidak. Zero data retention mengatur apa yang disimpan penyedia. Uji ini menyangkut apa yang ditulis model ke dalam output-nya sendiri, yang kemudian masuk ke log, tiket, dan sistem hilir Anda.

## Baca juga

-   [Safety Map: bagaimana 39 LLM menangani data sensitif](https://broadrouter.com/id/blog/llm-safety-map-39-models/)
-   [Mengirim data sensitif ke API LLM: redaksi, minimalkan, kurangi log](https://broadrouter.com/id/blog/llm-api-sensitive-data/)
-   [Cara mengevaluasi LLM sebelum berpindah penyedia](https://broadrouter.com/id/blog/evaluate-llm-before-switching/)
-   [API LLM zero data retention: checklist 10 pertanyaan](https://broadrouter.com/id/blog/zero-data-retention-llm-api-checklist/)
-   [Undang-undang pelindungan data Mesir (UU 151 Tahun 2020) dan API LLM](https://broadrouter.com/id/blog/egypt-data-protection-law-llm-api/)
-   [PDPL Saudi dan UEA untuk API LLM: checklist transfer lintas negara](https://broadrouter.com/id/blog/saudi-uae-pdpl-llm-api-checklist/)

Coba dengan beban kerja Anda yang sebenarnya. Akun baru mendapat kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM, dan Qwen3.8 memerlukan top up.

[Mulai](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=id-blog-llm-sensitive-data-safety-evaluation-method&utm_content=page-cta) ·

**Sumber**

-   [Al Zubaidi, How to Evaluate an LLM for Sensitive Data Safety Before Deploying It, preprint Zenodo, 2026-04-14 (rekaman diakses 2026-11-15)](https://doi.org/10.5281/zenodo.19574049)
-   [Makalah yang sama di SSRN, abstrak 6565139 (DOI dicantumkan oleh BroadNet; diakses 2026-11-15)](https://doi.org/10.2139/ssrn.6565139)
-   [Blog BroadNet, How We Evaluate an LLM for Sensitive-Data Safety Before Deploying It (12 Mei 2026; diakses 2026-11-15) (bahasa Inggris)](https://www.broadnet.ai/blog/evaluating-llm-sensitive-data-safety)
-   [BroadNet Research: kebijakan publikasi bertanggung jawab (diakses 2026-11-15) (bahasa Inggris)](https://www.broadnet.ai/research)
-   [Microsoft Presidio (diakses 2026-11-15)](https://github.com/microsoft/presidio)
