BroadRouter
Bắt đầu

Kiểm tra độ an toàn dữ liệu nhạy cảm của LLM: phương pháp BroadNet

Đội ngũ BroadNet Inference · 3 phút đọc · Đăng ngày

Preprint tháng 4/2026 của BroadNet (DOI 10.5281/zenodo.19574049, cũng có trên SSRN) đưa ra bài kiểm tra an toàn dữ liệu nhạy cảm trước triển khai. Kiểm tra riêng bốn nhóm (credential, PII, y tế, tài chính), chấm rò rỉ và bỏ sót như hai lỗi riêng, chấm nhị phân, và chạy mỗi bài ít nhất ba lần. Thử nghiệm cho thấy quy tắc prompt và fine-tuning bằng ví dụ phủ định làm tăng rò rỉ.

Cards reading Name and Email turning into the placeholders [PERSON] and [EMAIL], with the text "Redact. Process. Restore." and "LSDF by BroadNet".

Bộ phận nghiên cứu của BroadNet đã công bố một phương pháp thực tế để kiểm tra xem mô hình ngôn ngữ lớn có làm lộ dữ liệu nhạy cảm hay không trước khi bạn triển khai nó. Bản preprint How to Evaluate an LLM for Sensitive Data Safety Before Deploying It nằm trên Zenodo với DOI 10.5281/zenodo.19574049, đề ngày 14 tháng 4 năm 2026, và có bản sao trên SSRN. Bản ghi Zenodo ghi tác giả là Mohammad Al Zubaidi.

Trang này tóm tắt phương pháp và các phát hiện. Đây là công trình của BroadNet, và các phát hiện là của họ; chúng tôi chưa chạy lại.

Vì sao benchmark thông thường không phát hiện được điều này?

Benchmark công khai đo năng lực: model làm được gì khi ở trạng thái tốt nhất. Một model được triển khai để rà soát file cấu hình hay ghi chú lâm sàng còn phải không làm một việc: lặp lại bí mật mà nó tìm thấy. Ví dụ trong bài báo cho thấy rõ điều này. Một model đạt 95 điểm ở 99 tác vụ và chép lại một API key ở tác vụ thứ một trăm có điểm trung bình 94, nhưng vẫn không thể dùng trong production.

BroadNet gọi đây là kiểm tra mức sàn thay vì mức trần, và bài báo coi “capability and constraint” (bản dịch: năng lực và ràng buộc) là hai trục độc lập.

Phương pháp kiểm tra những gì?

Bốn nhóm, mỗi nhóm được kiểm tra riêng:

Nhóm Ví dụ Model nhận ra nó thế nào
Credential API key, token, SSH key, mật khẩu cơ sở dữ liệu Chủ yếu qua định dạng; mật khẩu trong connection string không có dấu hiệu định dạng
Thông tin định danh cá nhân (PII) Tên, email, số điện thoại, số giấy tờ do nhà nước cấp Định dạng với ID có cấu trúc, ý nghĩa với văn bản tự do
Thông tin y tế được bảo vệ (PHI) Chẩn đoán, đơn thuốc, ghi chú lâm sàng Thường qua ngữ cảnh: một chẩn đoán đứng cạnh một cái tên
Dữ liệu tài chính Số tài khoản, số dư, giao dịch Định dạng, nhưng ít khi được coi là nhạy cảm

Phần tóm tắt báo cáo đã kiểm tra “24+ models across 6 model families” (bản dịch: hơn 24 model thuộc 6 dòng model) và tìm thấy một thứ bậc rõ ràng: nhận diện dựa trên định dạng, như credential có cấu trúc và số an sinh xã hội, đáng tin cậy hơn nhiều so với nhận diện dựa trên ngữ cảnh, như những cái tên trở nên nhạy cảm khi đứng cạnh một chẩn đoán. Một model có tỷ lệ rò rỉ credential 0% lại làm lộ mã định danh bệnh nhân ở mọi lượt chạy kiểm tra PHI.

Nên chấm điểm kết quả thế nào?

Bài báo đề xuất một quy trình tối thiểu:

  1. Chấm điểm nhị phân. Mỗi lượt chạy hoặc an toàn hoặc không; không có điểm một phần cho câu trả lời “gần như an toàn”.
  2. Chấm riêng rò rỉ và bỏ sót. Gộp chúng thành một con số sẽ che mất loại quan trọng với trường hợp sử dụng của bạn.
  3. Chạy nhiều lần. Từ ba lần trở lên cho mỗi cặp model và probe, vì cùng một model có thể qua hôm nay và rò rỉ hôm sau.
  4. Theo từng nhóm. An toàn với credential không nói lên điều gì về an toàn với hồ sơ y tế.

Bài viết thực hành của BroadNet bổ sung các quy tắc vận hành họ dùng trong các dự án thử nghiệm: chỉ dùng dữ liệu tổng hợp, kiểm tra toàn bộ cấu hình triển khai (gồm cả system prompt, tool và truy xuất), yêu cầu năm lượt chạy sạch liên tiếp trước khi lên production, và kiểm tra lại hằng tháng với model tự host, hằng tuần với model bên thứ ba thường xuyên cập nhật.

Điều gì không hiệu quả?

Hai cách sửa phổ biến lại làm tình hình tệ hơn trong thử nghiệm của BroadNet:

  • Chỉ dẫn trong prompt. Thêm “không được tiết lộ credential” đôi khi bị bỏ qua, và chiến lược prompt quyết liệt nhất đã gây rò rỉ ở một model vốn sạch ở mức cơ sở.
  • Fine-tuning bằng ví dụ phủ định. Huấn luyện model từ chối một nhóm dữ liệu đã làm tăng tỷ lệ rò rỉ thay vì giảm.

Theo BroadNet, điều đứng vững là ba lớp kết hợp: chọn model có rủi ro thấp hơn cho nhóm dữ liệu đó, lọc đầu ra bằng một công cụ tất định (họ nêu Microsoft Presidio và LLM Guard), và che dữ liệu đầu vào trước khi dựng prompt khi tác vụ không cần đến các giá trị đó. Hướng dẫn gửi dữ liệu nhạy cảm tới API LLM của chúng tôi minh họa bước che dữ liệu bằng code.

Bài báo không công bố những gì?

Theo chính sách công bố có trách nhiệm, BroadNet công bố các nhóm dữ liệu, triết lý chấm điểm, cỡ mẫu và các lưu ý, nhưng không công bố template prompt chính xác, định dạng credential hay ngưỡng đạt và trượt. Lý do của họ: công bố những thứ đó sẽ giảm công sức cần để trích xuất dữ liệu trong khi bên triển khai không có cách phòng vệ. Nhà cung cấp model và nhà nghiên cứu an toàn có thể yêu cầu chúng. Điều đó khiến phương pháp tái lập được về khung, nhưng không tái lập được từng con số.

Điều này liên quan thế nào tới BroadNet Inference?

Đây là bài kiểm tra model, không phải kiểm tra nhà cung cấp. Nó áp dụng cho mọi model trên mọi API, kể cả các model trên BroadNet Inference. Bài báo đi kèm, Safety Map, áp dụng phương pháp này cho 39 model từ 14 phòng lab và phát hiện giá trị nhạy cảm còn có thể thoát ra qua tham số tool call và các trường suy luận. Sau đó BroadNet phát hành một firewall mã nguồn mở xây dựng trên cả hai bài báo, LSDF, được mô tả trong bài tóm tắt Safety Map.

Việc nhà cung cấp lưu giữ dữ liệu là câu hỏi riêng: không lưu giữ dữ liệu nói về những gì BroadNet lưu, không phải những gì model viết vào hệ thống của chính bạn.

Câu hỏi thường gặp

Rò rỉ và bỏ sót khác nhau thế nào?

Rò rỉ là khi model lặp lại một giá trị nhạy cảm ở chỗ không được phép, ví dụ chép nguyên API key vào báo cáo. Bỏ sót là khi model không gắn cờ một giá trị nhạy cảm trong khi đó là nhiệm vụ của nó. Phương pháp của BroadNet chấm điểm hai loại riêng vì rủi ro của chúng khác nhau.

Bài kiểm tra cần chạy bao nhiêu lần?

Ít nhất ba lần cho mỗi probe. Quy trình thực hành của BroadNet thêm yêu cầu năm lượt chạy sạch liên tiếp trước khi coi một model là an toàn cho production, trải ra ít nhất hai ngày khác nhau để bắt được thay đổi phía nhà cung cấp.

System prompt ghi "không bao giờ tiết lộ bí mật" có giúp được không?

Không đáng tin cậy. Trong thử nghiệm của BroadNet, chiến lược prompt quyết liệt nhất đã gây rò rỉ ở một model vốn sạch khi không có nó, và fine-tuning bằng ví dụ phủ định cũng làm tăng tỷ lệ rò rỉ.

Tôi có lấy được prompt kiểm tra chính xác của BroadNet không?

Không công khai. Theo chính sách công bố có trách nhiệm, BroadNet giữ lại template prompt chính xác, định dạng credential và ngưỡng đạt hay trượt, và chia sẻ chúng với nhà cung cấp model và nhà nghiên cứu an toàn khi có yêu cầu.

Không lưu giữ dữ liệu có khiến bài kiểm tra này trở nên thừa không?

Không. Không lưu giữ dữ liệu kiểm soát những gì nhà cung cấp lưu. Bài kiểm tra này nói về những gì model viết vào chính đầu ra của nó, thứ sau đó nằm trong log, ticket và các hệ thống phía sau của bạn.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity