---
title: "Проверка LLM на утечку конфиденциальных данных | BroadRouter"
description: "Метод BroadNet: как до развёртывания проверить, не сливает ли LLM учётные данные, ПДн, медицинские или финансовые данные. Категории, утечки, 3+ прогона."
url: https://broadrouter.com/ru/blog/llm-sensitive-data-safety-evaluation-method/
lang: ru
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Переведено с английского с помощью ИИ. [Читать оригинал на английском](https://broadrouter.com/blog/llm-sensitive-data-safety-evaluation-method/) (обновлён 2026-11-15).

# Как проверить LLM на утечку конфиденциальных данных: метод BroadNet

Команда BroadNet Inference · 3 мин чтения · Опубликовано 2026-11-15

Препринт BroadNet от апреля 2026 года (DOI 10.5281/zenodo.19574049, также на SSRN) описывает проверку обращения с конфиденциальными данными до развёртывания. Тестируйте четыре категории (учётные данные, ПДн, медицинские и финансовые данные) по отдельности, считайте утечки и пропуски разными сбоями, оценивайте бинарно и прогоняйте каждый тест не меньше трёх раз. Правила в промпте и дообучение на негативных примерах в её тестах увеличивали утечки.

## Главное

-   Препринт на Zenodo, DOI 10.5281/zenodo.19574049 (14 апреля 2026 года, CC BY 4.0), зеркало на SSRN — 10.2139/ssrn.6565139. Рецензирование не проходил.
-   Бенчмарки возможностей измеряют, что модель умеет; этот метод измеряет, чего она делать не должна.
-   Два вида сбоев: утечка (модель повторяет конфиденциальное значение) и пропуск (модель его не помечает). Оценивайте их отдельно.
-   Безопасность недетерминирована: основывайте каждый вердикт на 3 и более прогонах, а не на одном.
-   В тестах BroadNet жёсткие инструкции в промпте и дообучение на негативных примерах повышали долю утечек.

**На этой странице**

1.  Почему обычные бенчмарки этого не ловят?
2.  Что проверяет метод?
3.  Как оценивать результаты?
4.  Что не сработало?
5.  Чего статья не публикует?
6.  Как это связано с BroadNet Inference?

_[image: Cards reading Name and Email turning into the placeholders [PERSON] and [EMAIL], with the text "Redact. Process. Restore." and "LSDF by BroadNet".]_

Исследовательское подразделение BroadNet опубликовало практический метод проверки того, не сливает ли большая языковая модель конфиденциальные данные, — до её развёртывания. Препринт _How to Evaluate an LLM for Sensitive Data Safety Before Deploying It_ (перевод: «Как оценить безопасность LLM в обращении с конфиденциальными данными до развёртывания») размещён на Zenodo под DOI [10.5281/zenodo.19574049](https://doi.org/10.5281/zenodo.19574049), датирован 14 апреля 2026 года и продублирован на SSRN. В записи на Zenodo автором указан Mohammad Al Zubaidi.

Эта страница пересказывает метод и его выводы. Это работа BroadNet, и выводы принадлежат ей; мы их не воспроизводили.

## Почему обычные бенчмарки этого не ловят?

Публичные бенчмарки измеряют возможности: что модель умеет в лучшем случае. Но модель, которую поставили проверять файл конфигурации или клиническую запись, должна ещё и чего-то не делать — не повторять найденный секрет. Пример из статьи хорошо это показывает. Модель, которая набирает 95 на 99 задачах и выдаёт API-ключ на сотой, в среднем получает 94 — и всё равно непригодна для продакшена.

BroadNet называет это проверкой нижней границы, а не потолка, и статья рассматривает «capability and constraint» (перевод: «возможности и ограничения») как независимые оси.

## Что проверяет метод?

Четыре категории, каждая тестируется отдельно:

| Категория | Примеры | Как модель её распознаёт |
| --- | --- | --- |
| Учётные данные | API-ключи, токены, SSH-ключи, пароли от баз данных | В основном по формату; у паролей в строках подключения формальных признаков нет |
| Персональные данные (ПДн) | Имена, email, номера телефонов, государственные идентификаторы | По формату для структурированных идентификаторов, по смыслу для свободного текста |
| Защищённая медицинская информация (PHI) | Диагнозы, рецепты, клинические записи | Часто по контексту: диагноз рядом с именем |
| Финансовые данные | Номера счетов, остатки, транзакции | По формату, но реже воспринимаются как конфиденциальные |

Аннотация сообщает о тестировании «24+ models across 6 model families» (перевод: «более 24 моделей из 6 семейств») и выявляет чёткую иерархию: распознавание по формату — например, структурированных учётных данных и номеров социального страхования — гораздо надёжнее распознавания по контексту, например имён, которые становятся конфиденциальными рядом с диагнозом. Одна модель с нулевой долей утечек учётных данных сливала идентификаторы пациентов в каждом прогоне теста на PHI.

## Как оценивать результаты?

Статья предлагает минимальный протокол:

1.  **Бинарная оценка.** Каждый прогон либо безопасен, либо нет; никаких частичных баллов за «в основном безопасный» ответ.
2.  **Утечки и пропуски оцениваются отдельно.** Сведение их в одно число скрывает тот вид сбоя, который важен именно для вашего сценария.
3.  **Несколько прогонов.** Три и более на модель и тест, потому что одна и та же модель может сегодня пройти тест, а завтра допустить утечку.
4.  **Категория за категорией.** Безопасность на учётных данных ничего не говорит о безопасности на медицинских записях.

Практическое описание BroadNet добавляет рабочие правила, которые компания применяет в пилотах: использовать только синтетические данные, тестировать полную конфигурацию развёртывания (включая системный промпт, инструменты и поиск), требовать пять чистых прогонов подряд перед продакшеном и перепроверять самостоятельно размещённые модели ежемесячно, а сторонние модели, которые часто обновляются, — еженедельно.

## Что не сработало?

Два распространённых исправления в тестах BroadNet сделали только хуже:

-   **Инструкции в промпте.** Фразу «не раскрывай учётные данные» модели иногда игнорировали, а самая жёсткая стратегия промптинга вызвала утечки у модели, которая в базовой конфигурации была чистой.
-   **Дообучение на негативных примерах.** Обучение модели отказывать по категории повышало долю утечек, а не снижало её.

По словам BroadNet, сработали три слоя вместе: выбрать для категории модель с меньшим риском, фильтровать вывод детерминированным инструментом (компания называет [Microsoft Presidio](https://github.com/microsoft/presidio) и LLM Guard) и маскировать входные данные ещё до сборки промпта, если задаче не нужны сами значения. Наше [руководство по отправке конфиденциальных данных в LLM API](https://broadrouter.com/ru/blog/llm-api-sensitive-data/) показывает этап маскирования в коде.

## Чего статья не публикует?

Согласно политике ответственной публикации, BroadNet публикует категории, принципы оценки, размеры выборок и оговорки, но не точные шаблоны промптов, форматы учётных данных и пороги прохождения. Её довод: публикация снизила бы усилия, необходимые для извлечения данных, при том что у тех, кто развёртывает модели, защиты от этого нет. Поставщики моделей и исследователи безопасности могут запросить эти данные. Поэтому метод воспроизводим по форме, но не цифра в цифру.

## Как это связано с BroadNet Inference?

Это проверка моделей, а не провайдера. Она применима к любой модели в любом API, включая модели [BroadNet Inference](https://broadrouter.com/ru/models/). Парная статья, [Safety Map](https://broadrouter.com/ru/blog/llm-safety-map-39-models/), применяет метод к 39 моделям из 14 лабораторий и обнаруживает, что конфиденциальные значения могут утекать и через аргументы вызова инструментов и поля рассуждений. Позже BroadNet выпустила файрвол с открытым исходным кодом, построенный на обеих статьях, — LSDF; он описан в пересказе Safety Map.

Хранение данных у провайдера — отдельный вопрос: [нулевое хранение данных](https://broadrouter.com/ru/privacy/) определяет, что хранит BroadNet, но не то, что модель записывает в ваши собственные системы.

Бесплатные инструменты по теме (на английском)

-   [OpenAI-compatible API request builder](https://broadrouter.com/tools/api-request-builder/) One request, copied as curl, Python, Node or the OpenAI SDKs.
-   [LLM API cost calculator](https://broadrouter.com/tools/llm-api-cost-calculator/) Price a workload on every model at once, with cache hits, reasoning and a flat-plan check.

[Бесплатные инструменты (на английском)](https://broadrouter.com/tools/)

## Термины в этой статье

[Персональные данные (PII)](https://broadrouter.com/ru/glossary/pii/)

PII (personally identifiable information) — это информация, с помощью которой можно отличить или отследить личность человека, например имя, номер удостоверения или биометрические данные, а также другая информация, связанная или связываемая с ним. В GDPR используется более широкий термин «персональные данные». В работе с LLM маскирование PII удаляет их из промптов до того, как те покинут ваши системы.

[Дообучение (fine-tuning)](https://broadrouter.com/ru/glossary/fine-tuning/)

Дообучение (fine-tuning) — это продолжение обучения предобученной языковой модели на меньшем наборе данных под конкретную задачу, например на примерах диалогов. Веса модели меняются, и она надёжнее выполняет эту задачу или держит стиль без длинных инструкций и примеров в каждом промпте.

[Нулевое хранение данных (ZDR)](https://broadrouter.com/ru/glossary/zero-data-retention/)

Нулевое хранение данных (ZDR) — это политика обработки данных, при которой AI-провайдер обрабатывает промпты и ответы только для выполнения запроса и после этого не сохраняет их содержимое ни в логах, ни в кэшах, ни в обучающих данных. Записи без содержимого, например число токенов и время выполнения, обычно всё же хранятся.

[Токен (token)](https://broadrouter.com/ru/glossary/token/)

Токен — это единица текста, которую языковая модель читает и пишет: слово, часть слова, знак препинания или последовательность байтов, которую выдаёт токенизатор модели. LLM API считают, ограничивают и обычно тарифицируют использование в токенах.

## Вопросы и ответы

### Чем утечка отличается от пропуска?

Утечка — это когда модель повторяет конфиденциальное значение там, где не должна, например вставляет API-ключ в отчёт. Пропуск — когда модель не помечает конфиденциальное значение, хотя это её задача. Метод BroadNet оценивает их отдельно, потому что риски у них разные.

### Сколько прогонов нужно для теста?

Не меньше трёх на каждый тест. Практический протокол BroadNet добавляет требование пяти чистых прогонов подряд, прежде чем признать модель безопасной для продакшена, — минимум за два календарных дня, чтобы поймать изменения на стороне провайдера.

### Помогает ли системный промпт «никогда не раскрывай секреты»?

Ненадёжно. В тестах BroadNet самая жёсткая стратегия промптинга вызвала утечки у модели, которая без неё была чистой, а дообучение на негативных примерах тоже повышало долю утечек.

### Можно ли получить точные тестовые промпты BroadNet?

Публично — нет. Согласно политике ответственной публикации, BroadNet не раскрывает точные шаблоны промптов, форматы учётных данных и пороги прохождения и передаёт их поставщикам моделей и исследователям безопасности по запросу.

### Делает ли нулевое хранение данных эту проверку ненужной?

Нет. Нулевое хранение данных определяет, что хранит провайдер. Эта проверка касается того, что модель пишет в собственный вывод, который потом попадает в ваши логи, тикеты и последующие системы.

## Читайте также

-   [Safety Map: как 39 LLM обращаются с конфиденциальными данными](https://broadrouter.com/ru/blog/llm-safety-map-39-models/)
-   [Конфиденциальные данные в LLM API: маскирование, минимизация, логи](https://broadrouter.com/ru/blog/llm-api-sensitive-data/)
-   [Как оценить LLM перед сменой провайдера](https://broadrouter.com/ru/blog/evaluate-llm-before-switching/)
-   [Нулевое хранение данных (ZDR) в LLM API: чек-лист из 10 вопросов](https://broadrouter.com/ru/blog/zero-data-retention-llm-api-checklist/)
-   [Закон Египта о защите данных (№ 151 от 2020 года) и LLM API](https://broadrouter.com/ru/blog/egypt-data-protection-law-llm-api/)
-   [PDPL Саудовской Аравии и ОАЭ и LLM API: чек-лист передачи данных](https://broadrouter.com/ru/blog/saudi-uae-pdpl-llm-api-checklist/)

Проверьте на своей реальной нагрузке. Новые аккаунты получают стартовый грант US$5 на Gemma и распознавание речи. Для DeepSeek, GLM и Qwen3.8 нужно пополнить баланс.

[Начать](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ru-blog-llm-sensitive-data-safety-evaluation-method&utm_content=page-cta) ·

**Источники**

-   [Al Zubaidi, How to Evaluate an LLM for Sensitive Data Safety Before Deploying It, препринт на Zenodo, 2026-04-14 (дата обращения к записи 2026-11-15)](https://doi.org/10.5281/zenodo.19574049)
-   [Та же статья на SSRN, аннотация 6565139 (DOI указан BroadNet; дата обращения 2026-11-15)](https://doi.org/10.2139/ssrn.6565139)
-   [Блог BroadNet, How We Evaluate an LLM for Sensitive-Data Safety Before Deploying It (12 мая 2026; дата обращения 2026-11-15) (на английском)](https://www.broadnet.ai/blog/evaluating-llm-sensitive-data-safety)
-   [BroadNet Research: политика ответственной публикации (дата обращения 2026-11-15) (на английском)](https://www.broadnet.ai/research)
-   [Microsoft Presidio (дата обращения 2026-11-15)](https://github.com/microsoft/presidio)
