Bộ phận nghiên cứu của BroadNet đã công bố một phương pháp thực tế để kiểm tra xem mô hình ngôn ngữ lớn có làm lộ dữ liệu nhạy cảm hay không trước khi bạn triển khai nó. Bản preprint How to Evaluate an LLM for Sensitive Data Safety Before Deploying It nằm trên Zenodo với DOI 10.5281/zenodo.19574049, đề ngày 14 tháng 4 năm 2026, và có bản sao trên SSRN. Bản ghi Zenodo ghi tác giả là Mohammad Al Zubaidi.
Trang này tóm tắt phương pháp và các phát hiện. Đây là công trình của BroadNet, và các phát hiện là của họ; chúng tôi chưa chạy lại.
Vì sao benchmark thông thường không phát hiện được điều này?
Benchmark công khai đo năng lực: model làm được gì khi ở trạng thái tốt nhất. Một model được triển khai để rà soát file cấu hình hay ghi chú lâm sàng còn phải không làm một việc: lặp lại bí mật mà nó tìm thấy. Ví dụ trong bài báo cho thấy rõ điều này. Một model đạt 95 điểm ở 99 tác vụ và chép lại một API key ở tác vụ thứ một trăm có điểm trung bình 94, nhưng vẫn không thể dùng trong production.
BroadNet gọi đây là kiểm tra mức sàn thay vì mức trần, và bài báo coi “capability and constraint” (bản dịch: năng lực và ràng buộc) là hai trục độc lập.
Phương pháp kiểm tra những gì?
Bốn nhóm, mỗi nhóm được kiểm tra riêng:
| Nhóm | Ví dụ | Model nhận ra nó thế nào |
|---|---|---|
| Credential | API key, token, SSH key, mật khẩu cơ sở dữ liệu | Chủ yếu qua định dạng; mật khẩu trong connection string không có dấu hiệu định dạng |
| Thông tin định danh cá nhân (PII) | Tên, email, số điện thoại, số giấy tờ do nhà nước cấp | Định dạng với ID có cấu trúc, ý nghĩa với văn bản tự do |
| Thông tin y tế được bảo vệ (PHI) | Chẩn đoán, đơn thuốc, ghi chú lâm sàng | Thường qua ngữ cảnh: một chẩn đoán đứng cạnh một cái tên |
| Dữ liệu tài chính | Số tài khoản, số dư, giao dịch | Định dạng, nhưng ít khi được coi là nhạy cảm |
Phần tóm tắt báo cáo đã kiểm tra “24+ models across 6 model families” (bản dịch: hơn 24 model thuộc 6 dòng model) và tìm thấy một thứ bậc rõ ràng: nhận diện dựa trên định dạng, như credential có cấu trúc và số an sinh xã hội, đáng tin cậy hơn nhiều so với nhận diện dựa trên ngữ cảnh, như những cái tên trở nên nhạy cảm khi đứng cạnh một chẩn đoán. Một model có tỷ lệ rò rỉ credential 0% lại làm lộ mã định danh bệnh nhân ở mọi lượt chạy kiểm tra PHI.
Nên chấm điểm kết quả thế nào?
Bài báo đề xuất một quy trình tối thiểu:
- Chấm điểm nhị phân. Mỗi lượt chạy hoặc an toàn hoặc không; không có điểm một phần cho câu trả lời “gần như an toàn”.
- Chấm riêng rò rỉ và bỏ sót. Gộp chúng thành một con số sẽ che mất loại quan trọng với trường hợp sử dụng của bạn.
- Chạy nhiều lần. Từ ba lần trở lên cho mỗi cặp model và probe, vì cùng một model có thể qua hôm nay và rò rỉ hôm sau.
- Theo từng nhóm. An toàn với credential không nói lên điều gì về an toàn với hồ sơ y tế.
Bài viết thực hành của BroadNet bổ sung các quy tắc vận hành họ dùng trong các dự án thử nghiệm: chỉ dùng dữ liệu tổng hợp, kiểm tra toàn bộ cấu hình triển khai (gồm cả system prompt, tool và truy xuất), yêu cầu năm lượt chạy sạch liên tiếp trước khi lên production, và kiểm tra lại hằng tháng với model tự host, hằng tuần với model bên thứ ba thường xuyên cập nhật.
Điều gì không hiệu quả?
Hai cách sửa phổ biến lại làm tình hình tệ hơn trong thử nghiệm của BroadNet:
- Chỉ dẫn trong prompt. Thêm “không được tiết lộ credential” đôi khi bị bỏ qua, và chiến lược prompt quyết liệt nhất đã gây rò rỉ ở một model vốn sạch ở mức cơ sở.
- Fine-tuning bằng ví dụ phủ định. Huấn luyện model từ chối một nhóm dữ liệu đã làm tăng tỷ lệ rò rỉ thay vì giảm.
Theo BroadNet, điều đứng vững là ba lớp kết hợp: chọn model có rủi ro thấp hơn cho nhóm dữ liệu đó, lọc đầu ra bằng một công cụ tất định (họ nêu Microsoft Presidio và LLM Guard), và che dữ liệu đầu vào trước khi dựng prompt khi tác vụ không cần đến các giá trị đó. Hướng dẫn gửi dữ liệu nhạy cảm tới API LLM của chúng tôi minh họa bước che dữ liệu bằng code.
Bài báo không công bố những gì?
Theo chính sách công bố có trách nhiệm, BroadNet công bố các nhóm dữ liệu, triết lý chấm điểm, cỡ mẫu và các lưu ý, nhưng không công bố template prompt chính xác, định dạng credential hay ngưỡng đạt và trượt. Lý do của họ: công bố những thứ đó sẽ giảm công sức cần để trích xuất dữ liệu trong khi bên triển khai không có cách phòng vệ. Nhà cung cấp model và nhà nghiên cứu an toàn có thể yêu cầu chúng. Điều đó khiến phương pháp tái lập được về khung, nhưng không tái lập được từng con số.
Điều này liên quan thế nào tới BroadNet Inference?
Đây là bài kiểm tra model, không phải kiểm tra nhà cung cấp. Nó áp dụng cho mọi model trên mọi API, kể cả các model trên BroadNet Inference. Bài báo đi kèm, Safety Map, áp dụng phương pháp này cho 39 model từ 14 phòng lab và phát hiện giá trị nhạy cảm còn có thể thoát ra qua tham số tool call và các trường suy luận. Sau đó BroadNet phát hành một firewall mã nguồn mở xây dựng trên cả hai bài báo, LSDF, được mô tả trong bài tóm tắt Safety Map.
Việc nhà cung cấp lưu giữ dữ liệu là câu hỏi riêng: không lưu giữ dữ liệu nói về những gì BroadNet lưu, không phải những gì model viết vào hệ thống của chính bạn.

![Cards reading Name and Email turning into the placeholders [PERSON] and [EMAIL], with the text "Redact. Process. Restore." and "LSDF by BroadNet".](/_astro/lsdf-redact.DvY_-MHj_ZO6b3q.webp)