Исследовательское подразделение BroadNet опубликовало практический метод проверки того, не сливает ли большая языковая модель конфиденциальные данные, — до её развёртывания. Препринт How to Evaluate an LLM for Sensitive Data Safety Before Deploying It (перевод: «Как оценить безопасность LLM в обращении с конфиденциальными данными до развёртывания») размещён на Zenodo под DOI 10.5281/zenodo.19574049, датирован 14 апреля 2026 года и продублирован на SSRN. В записи на Zenodo автором указан Mohammad Al Zubaidi.
Эта страница пересказывает метод и его выводы. Это работа BroadNet, и выводы принадлежат ей; мы их не воспроизводили.
Почему обычные бенчмарки этого не ловят?
Публичные бенчмарки измеряют возможности: что модель умеет в лучшем случае. Но модель, которую поставили проверять файл конфигурации или клиническую запись, должна ещё и чего-то не делать — не повторять найденный секрет. Пример из статьи хорошо это показывает. Модель, которая набирает 95 на 99 задачах и выдаёт API-ключ на сотой, в среднем получает 94 — и всё равно непригодна для продакшена.
BroadNet называет это проверкой нижней границы, а не потолка, и статья рассматривает «capability and constraint» (перевод: «возможности и ограничения») как независимые оси.
Что проверяет метод?
Четыре категории, каждая тестируется отдельно:
| Категория | Примеры | Как модель её распознаёт |
|---|---|---|
| Учётные данные | API-ключи, токены, SSH-ключи, пароли от баз данных | В основном по формату; у паролей в строках подключения формальных признаков нет |
| Персональные данные (ПДн) | Имена, email, номера телефонов, государственные идентификаторы | По формату для структурированных идентификаторов, по смыслу для свободного текста |
| Защищённая медицинская информация (PHI) | Диагнозы, рецепты, клинические записи | Часто по контексту: диагноз рядом с именем |
| Финансовые данные | Номера счетов, остатки, транзакции | По формату, но реже воспринимаются как конфиденциальные |
Аннотация сообщает о тестировании «24+ models across 6 model families» (перевод: «более 24 моделей из 6 семейств») и выявляет чёткую иерархию: распознавание по формату — например, структурированных учётных данных и номеров социального страхования — гораздо надёжнее распознавания по контексту, например имён, которые становятся конфиденциальными рядом с диагнозом. Одна модель с нулевой долей утечек учётных данных сливала идентификаторы пациентов в каждом прогоне теста на PHI.
Как оценивать результаты?
Статья предлагает минимальный протокол:
- Бинарная оценка. Каждый прогон либо безопасен, либо нет; никаких частичных баллов за «в основном безопасный» ответ.
- Утечки и пропуски оцениваются отдельно. Сведение их в одно число скрывает тот вид сбоя, который важен именно для вашего сценария.
- Несколько прогонов. Три и более на модель и тест, потому что одна и та же модель может сегодня пройти тест, а завтра допустить утечку.
- Категория за категорией. Безопасность на учётных данных ничего не говорит о безопасности на медицинских записях.
Практическое описание BroadNet добавляет рабочие правила, которые компания применяет в пилотах: использовать только синтетические данные, тестировать полную конфигурацию развёртывания (включая системный промпт, инструменты и поиск), требовать пять чистых прогонов подряд перед продакшеном и перепроверять самостоятельно размещённые модели ежемесячно, а сторонние модели, которые часто обновляются, — еженедельно.
Что не сработало?
Два распространённых исправления в тестах BroadNet сделали только хуже:
- Инструкции в промпте. Фразу «не раскрывай учётные данные» модели иногда игнорировали, а самая жёсткая стратегия промптинга вызвала утечки у модели, которая в базовой конфигурации была чистой.
- Дообучение на негативных примерах. Обучение модели отказывать по категории повышало долю утечек, а не снижало её.
По словам BroadNet, сработали три слоя вместе: выбрать для категории модель с меньшим риском, фильтровать вывод детерминированным инструментом (компания называет Microsoft Presidio и LLM Guard) и маскировать входные данные ещё до сборки промпта, если задаче не нужны сами значения. Наше руководство по отправке конфиденциальных данных в LLM API показывает этап маскирования в коде.
Чего статья не публикует?
Согласно политике ответственной публикации, BroadNet публикует категории, принципы оценки, размеры выборок и оговорки, но не точные шаблоны промптов, форматы учётных данных и пороги прохождения. Её довод: публикация снизила бы усилия, необходимые для извлечения данных, при том что у тех, кто развёртывает модели, защиты от этого нет. Поставщики моделей и исследователи безопасности могут запросить эти данные. Поэтому метод воспроизводим по форме, но не цифра в цифру.
Как это связано с BroadNet Inference?
Это проверка моделей, а не провайдера. Она применима к любой модели в любом API, включая модели BroadNet Inference. Парная статья, Safety Map, применяет метод к 39 моделям из 14 лабораторий и обнаруживает, что конфиденциальные значения могут утекать и через аргументы вызова инструментов и поля рассуждений. Позже BroadNet выпустила файрвол с открытым исходным кодом, построенный на обеих статьях, — LSDF; он описан в пересказе Safety Map.
Хранение данных у провайдера — отдельный вопрос: нулевое хранение данных определяет, что хранит BroadNet, но не то, что модель записывает в ваши собственные системы.

![Cards reading Name and Email turning into the placeholders [PERSON] and [EMAIL], with the text "Redact. Process. Restore." and "LSDF by BroadNet".](/_astro/lsdf-redact.DvY_-MHj_ZO6b3q.webp)