Safety Map — исследование BroadNet о том, как большие языковые модели обращаются с конфиденциальными данными. Препринт The Safety Map: What Does and Doesn’t Transfer in LLM Sensitive-Data Handling (перевод: «Карта безопасности: что переносится и что не переносится в обращении LLM с конфиденциальными данными») опубликован на Zenodo 22 апреля 2026 года под DOI 10.5281/zenodo.19688433, автор — Mohammad Al Zubaidi. Это парная работа к методу оценки обращения с конфиденциальными данными от BroadNet.
Ниже — наш пересказ аннотации и исследовательской страницы BroadNet. Вердикты принадлежат BroadNet.
Что охватило исследование?
| Параметр | Охват |
|---|---|
| Модели | 39, из 14 независимых лабораторий |
| Тестовые сценарии | 7 |
| Категории | Учётные данные, ПДн, защищённая медицинская информация (PHI), номера финансовых счетов, сканирование для предотвращения утечек (DLP) |
| Доказательная база | 135+ классифицированных сочетаний «модель — тест» из примерно 1300 многократных прогонов |
Каталог BroadNet сообщает, что компания прогнала около 90 удалённых и API-моделей, которые никогда не запускала на своём оборудовании, через свои тестовые стенды безопасности, маршрутизации и арабского языка, и что эти результаты легли в основу карты.
Каковы главные выводы?
Безопасность — это поверхность, а не одна оценка. Она меняется вдоль трёх осей, которые складываются:
- Архитектура. Статья сообщает о пороге ёмкости около 24B активных параметров для учётных данных при разных схемах маршрутизации, и главный случай здесь — модели mixture-of-experts с небольшим числом активных параметров.
- Поколение. Качество выравнивания сдвигает границу внутри семейства моделей.
- Вложения лаборатории в выравнивание. Флагманское название от известной лаборатории — не гарантия.
Ни одна из трёх осей сама по себе безопасность не предсказывает; они действуют вместе.
Безопасность не переносится между категориями. Аккуратное обращение с учётными данными и номерами социального страхования у той же модели не распространялось на имена, медицинские записи или номера счетов.
Каналы вывода протекают независимо. Это вывод с наибольшим практическим весом:
- Из 73 прогонов, в которых заполнялось
tool_calls.arguments, в 20 конфиденциальные значения ушли через вызов инструмента. Среди моделей, давших эти прогоны, была Kimi K2.6 от Moonshot, протестированная в день выхода, — модель, которую статья в остальном оценивает как безопасную во многократных прогонах на учётных данных, ПДн, финансовых данных и DLP. - Из 43 прогонов, в которых провайдер заполнял
reasoning_contentхотя бы 20 символами, в 29 конфиденциальные значения утекли в рассуждения, тогда как ответ в чате был оценён как безопасный, пропущен или обрезан.
Прунинг может сломать безопасность. Две независимые урезанные версии линейки Llama от Meta, сделанные NVIDIA с помощью поиска нейронной архитектуры, потеряли безопасность в отношении медицинских данных через разные каналы вывода.
Статья заканчивается пятиуровневым рейтингом. Его верхний кластер, одинаково безопасный во всех проверенных категориях, — Claude Opus 4.7, GPT-5.4 и GPT-5.4-mini, Gemini 3 Flash и Gemini 3.1 Pro. По словам аннотации, флагманы xAI Grok и Meta Llama в этот кластер не входят.
Что стоит изменить в собственном стеке?
- Фильтруйте каждый канал. Проверка видимого ответа пропускает аргументы вызова инструментов и поля рассуждений. Если вы используете вызов инструментов или модель с рассуждениями, проверяйте и то и другое.
- Тестируйте по категориям. Чистый результат на учётных данных ничего не говорит о медицинских данных или зарплатах.
- Перепроверяйте при обновлении моделей. Результат Kimi K2.6 получен на модели в день её выхода.
- Где можно, маскируйте заранее. Модель не сольёт того, чего никогда не видела. Наша статья о конфиденциальных данных показывает маскирование плейсхолдерами на Python.
Что такое LSDF?
LSDF, LLM Sensitive Data Firewall, — защитный механизм, который BroadNet построила на основе этих двух статей и выпустила с открытым исходным кодом под Apache-2.0 на github.com/brntech/lsdf. Это обратный прокси для OpenAI-совместимого API chat completions: вы направляете на него базовый URL своего клиента, а он пересылает запросы на ваш сервер моделей или провайдеру. По словам BroadNet, он проверяет запросы, ответы, чанки стриминга, аргументы вызова инструментов в потоке, извлечённый контекст и поля рассуждений, а трассировки и логи очищает отдельно.
Оценка BroadNet на собственных корпусах в мае 2026 года показывает такую полноту (recall):
| Набор детекторов | Повтор учётных данных | Клиническая PHI | Широкие английские ПДн |
|---|---|---|---|
| Только регулярные выражения | 0.944 | 0.019 | 0.208 |
| Microsoft Presidio | 0.194 | 0.056 | 0.326 |
| Детекторы широких ПДн LSDF | 1.000 | 0.944 | 0.685 |
Это цифры поставщика для собственного инструмента на выбранных им корпусах. Как отправная точка они полезны, а в репозитории есть сценарий повтора, чтобы вы могли их проверить. LSDF работает перед любой моделью, включая те, которые BroadNet не размещает.
Каковы ограничения?
Статья — препринт и рецензирование не проходила. Согласно политике ответственной публикации BroadNet, точные промпты, форматы учётных данных и пороги в публичной версии не приводятся и предоставляются поставщикам моделей и исследователям по запросу. Версии моделей меняются быстро, так что вердикт апреля 2026 года — повод протестировать, а не замена тестированию.
