BroadRouter

Safety Map: 39 LLM xử lý dữ liệu nhạy cảm như thế nào

Đội ngũ BroadNet Inference · 3 phút đọc · Đăng ngày · Cập nhật

Safety Map là preprint của BroadNet công bố tháng 4/2026 (DOI 10.5281/zenodo.19688433). Nó kiểm tra 39 model từ 14 phòng lab bằng 7 probe trên credential, PII, dữ liệu y tế, số tài khoản và quét DLP, qua khoảng 1.300 lượt đánh giá chạy nhiều lần. Độ an toàn không chuyển giao giữa nhóm dữ liệu hay kênh đầu ra: 20 trong 73 lượt điền tham số tool call rò rỉ qua đó.

Safety Map là khảo sát của BroadNet về cách các mô hình ngôn ngữ lớn xử lý dữ liệu nhạy cảm. Bản preprint The Safety Map: What Does and Doesn’t Transfer in LLM Sensitive-Data Handling được đăng trên Zenodo ngày 22 tháng 4 năm 2026 với DOI 10.5281/zenodo.19688433, tác giả là Mohammad Al Zubaidi. Đây là bài đi kèm với phương pháp đánh giá dữ liệu nhạy cảm của BroadNet.

Phần sau là tóm tắt của chúng tôi từ phần tóm tắt bài báo và trang nghiên cứu của BroadNet. Các kết luận là của BroadNet.

Khảo sát bao quát những gì?

Khía cạnh Phạm vi
Model 39, từ 14 phòng lab độc lập
Kịch bản probe 7
Nhóm dữ liệu Credential, thông tin định danh cá nhân (PII), thông tin y tế được bảo vệ (PHI), số tài khoản tài chính, quét ngăn rò rỉ dữ liệu (DLP)
Bằng chứng Hơn 135 cặp model-probe đã phân loại từ khoảng 1.300 lượt đánh giá chạy nhiều lần

Danh mục của BroadNet nói họ đã đưa khoảng 90 model từ xa và qua API, những model họ chưa từng chạy trên phần cứng của mình, qua các bộ kiểm thử an toàn, định tuyến và tiếng Ả Rập, và những phát hiện đó đóng góp vào bản đồ này.

Các phát hiện chính là gì?

Độ an toàn là một bề mặt, không phải một điểm số duy nhất. Nó thay đổi theo ba trục chồng lên nhau:

  • Kiến trúc. Bài báo báo cáo ngưỡng năng lực khoảng 24B tham số hoạt động đối với credential, bất kể thiết kế định tuyến, với các model mixture-of-experts có ít tham số hoạt động là trường hợp chính.
  • Thế hệ. Chất lượng alignment dịch chuyển ranh giới ngay trong một dòng model.
  • Mức đầu tư alignment của phòng lab. Nhãn flagship từ một phòng lab nổi tiếng không phải là bảo đảm.

Không trục nào tự nó dự đoán được độ an toàn; chúng kết hợp với nhau.

Độ an toàn không chuyển giao giữa các nhóm dữ liệu. Xử lý sạch sẽ credential và số an sinh xã hội không có nghĩa cùng model đó sẽ xử lý tốt tên người, hồ sơ y tế hay số tài khoản.

Các kênh đầu ra rò rỉ độc lập. Đây là phát hiện có sức nặng thực tế nhất:

  • Trong 73 lượt điền tool_calls.arguments, 20 lượt gửi giá trị nhạy cảm qua tool call. Trong số các model đứng sau những lượt đó có Kimi K2.6 của Moonshot, được kiểm thử vào ngày phát hành, model mà bài báo đánh giá là an toàn khi chạy nhiều lần với credential, PII, dữ liệu tài chính và DLP.
  • Trong 43 lượt mà nhà cung cấp điền reasoning_content với ít nhất 20 ký tự, 29 lượt rò rỉ giá trị nhạy cảm vào phần suy luận trong khi câu trả lời chat được đánh giá là an toàn, bỏ sót hoặc bị cắt.

Pruning có thể phá vỡ độ an toàn. Hai phiên bản pruning độc lập thuộc dòng Llama của Meta, do NVIDIA tạo bằng neural architecture search, đều mất độ an toàn với dữ liệu y tế qua các kênh đầu ra khác nhau.

Bài báo kết thúc bằng bảng xếp hạng năm bậc. Nhóm đứng đầu, an toàn đồng đều trên mọi nhóm được kiểm tra, gồm Claude Opus 4.7, GPT-5.4 và GPT-5.4-mini, Gemini 3 Flash và Gemini 3.1 Pro. Phần tóm tắt nói các model flagship của xAI Grok và Meta Llama không lọt vào nhóm này.

Bạn nên thay đổi gì trong stack của mình?

  1. Lọc mọi kênh. Kiểm tra câu trả lời hiển thị sẽ bỏ sót tham số tool call và các trường suy luận. Nếu bạn dùng tool calling hoặc model suy luận, hãy kiểm tra cả hai.
  2. Kiểm thử theo từng nhóm. Kết quả sạch với credential không nói lên điều gì về dữ liệu y tế hay lương.
  3. Kiểm thử lại khi model cập nhật. Kết quả của Kimi K2.6 đến từ model vào đúng ngày phát hành.
  4. Che dữ liệu trước khi có thể. Model không thể làm lộ thứ nó chưa từng thấy. Hướng dẫn dữ liệu nhạy cảm của chúng tôi minh họa cách che bằng placeholder trong Python.

LSDF là gì?

LSDF, LLM Sensitive Data Firewall, là công cụ kiểm soát BroadNet xây dựng từ hai bài báo này và phát hành mã nguồn mở theo Apache-2.0 tại github.com/brntech/lsdf. Đây là reverse proxy cho API chat completions tương thích OpenAI: bạn trỏ base URL của client tới nó, và nó chuyển tiếp tới server model hoặc nhà cung cấp của bạn. BroadNet nói nó kiểm tra request, phản hồi, các chunk được stream, tham số tool call được stream, context được truy xuất và các trường suy luận, đồng thời làm sạch trace và log riêng.

Đánh giá tháng 5 năm 2026 của BroadNet trên các bộ dữ liệu của chính họ báo cáo recall như sau:

Bộ phát hiện Phát lại credential PHI lâm sàng PII tiếng Anh diện rộng
Chỉ regex 0,944 0,019 0,208
Microsoft Presidio 0,194 0,056 0,326
Bộ phát hiện PII diện rộng của LSDF 1,000 0,944 0,685

Đây là số liệu của một nhà cung cấp về công cụ của chính họ, trên các bộ dữ liệu họ tự chọn. Chúng hữu ích như điểm xuất phát, và repository có kèm phần phát lại để bạn tự kiểm chứng. LSDF chạy được trước bất kỳ model nào, kể cả những model BroadNet không host.

Giới hạn là gì?

Bài báo là preprint, chưa qua bình duyệt. Theo chính sách công bố có trách nhiệm của BroadNet, prompt chính xác, định dạng credential và các ngưỡng được giữ lại khỏi bản công khai và chia sẻ với các nhà cung cấp model và nhà nghiên cứu khi có yêu cầu. Phiên bản model thay đổi nhanh, nên một kết luận từ tháng 4 năm 2026 là lý do để kiểm thử, không phải thứ thay thế cho việc kiểm thử.

Câu hỏi thường gặp

Model nào đạt kết quả tốt nhất trong Safety Map?

Phần tóm tắt đặt một nhóm alignment hàng đầu ở vị trí cao nhất, an toàn đồng đều trên mọi nhóm được kiểm tra: Claude Opus 4.7, GPT-5.4 và GPT-5.4-mini, Gemini 3 Flash và Gemini 3.1 Pro. Claude Sonnet 4.6 xếp ngay dưới, với một lần rò rỉ dữ liệu y tế chỉ gồm ngày sinh trong 15 lượt chạy.

Model không bao giờ làm lộ API key thì có an toàn với dữ liệu bệnh nhân không?

Chưa chắc. Bài báo phát hiện độ an toàn tách rời theo từng nhóm: một model bảo vệ tốt credential, số an sinh xã hội và mật khẩu cơ sở dữ liệu vẫn có thể nêu tên nhân viên trong tài liệu lương ở mọi lượt chạy.

Vì sao tool call lại quan trọng?

Vì nhiều bộ lọc chỉ kiểm tra câu trả lời chat. Trong 73 lượt model điền tham số tool call, 20 lượt gửi giá trị nhạy cảm qua kênh đó, kể cả ở một model mà về các mặt khác vẫn an toàn khi chạy nhiều lần.

Model mixture-of-experts nhỏ có rò rỉ nhiều hơn không?

Bài báo báo cáo một ngưỡng năng lực khoảng 24B tham số hoạt động đối với credential, với các thiết kế mixture-of-experts có ít tham số hoạt động là biểu hiện chính. Bài viết thực hành của BroadNet nói họ chưa tìm thấy model MoE nào dưới 24B tham số hoạt động mà không rò rỉ trên các probe dữ liệu có cấu trúc của họ.

Các model trên BroadNet Inference có trong Safety Map không?

Phần tóm tắt không liệt kê kết luận theo từng model cho chúng, và bản preprint có từ tháng 4/2026, nên model ra mắt sau đó không thể có trong đó. Gemma 4 VL 26B có khoảng 4B tham số hoạt động, nên hãy kiểm tra nó bằng probe dữ liệu nhạy cảm của riêng bạn, hoặc che dữ liệu trước khi gửi, nếu nó sẽ thấy credential hay dữ liệu cá nhân.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity