BroadRouter

Нулевое хранение данных (ZDR) в LLM API: чек-лист из 10 вопросов

Команда BroadNet Inference · 5 мин чтения · Опубликовано · Обновлено

LLM API с нулевым хранением данных (ZDR) обрабатывает ваши промпты и ответы ради запроса и не сохраняет их потом — ни в логах, ни в кэшах, ни в обучающих наборах. Спросите, что хранится (обычно учётные записи без содержимого), как долго, кто управляет GPU и как проверяется хранение. BroadNet Inference не хранит промпты, изображения, аудио и ответы и ежечасно проверяет конфигурацию своего шлюза на отсутствие хранения контента.

A glass enclosure with an input entering and a response leaving, labelled "Private inference".

Агенты для программирования отправляют целые репозитории. Боты поддержки — сообщения клиентов. Конвейеры распознавания речи — телефонные звонки. Прежде чем всё это уйдёт в LLM API, кто-нибудь спросит: что с этим происходит после того, как пришёл ответ? «Нулевое хранение данных» (ZDR) — тот ответ, который хотят услышать, но за этими словами стоят очень разные практики.

Что должно покрывать нулевое хранение данных?

Контент, который не должен пережить запрос:

  • Промпты, системные промпты и результаты инструментов
  • Изображения и аудио
  • Ответы модели и транскрипты
  • Полные тела запросов и ответов, в том числе в отладочных логах
  • Исходные URL, строки запроса и значения для аутентификации

Записи, которые обычно хранятся и не должны содержать контента:

  • ID запросов, время выполнения, HTTP-статус, объём в байтах
  • ID аккаунта и ключа, модель, число токенов, стоимость
  • IP-адреса клиентов — для безопасности

Если провайдер не может сказать, в каком списке находится каждый пункт, считайте это ответом «нет».

Обучение, хранение и ZDR — одно и то же обещание?

Обещание Что оно означает Чего оно не означает
«Не используется для обучения» На ваших данных не будут обучать будущие модели Они всё равно могут какое-то время храниться
«Хранится N дней» Контент хранится, потом удаляется Сотрудники или системы могут тем временем получить к нему доступ
«Нулевое хранение данных» Контент не хранится после запроса Метаданные всё равно хранятся

Крупные провайдеры показывают, почему эта разница важна. Сравнение официальных формулировок нескольких провайдеров — в статье хранение данных в LLM API: сравнение. Страница OpenAI об управлении данными говорит, что с 1 марта 2023 г. данные API по умолчанию не используются для обучения её моделей. Там же сказано, что логи отслеживания злоупотреблений “are retained for up to 30 days” (перевод: «хранятся до 30 дней»), что механизмы ZDR “are subject to prior approval by OpenAI” (перевод: «требуют предварительного одобрения OpenAI») и что эндпоинты, которые хранят состояние, например files, assistants и batches, под них не подпадают. Провайдер может честно сказать всё это и при этом по умолчанию хранить ваш контент месяц.

Где в обещаниях ZDR обычно бывают пробелы?

  • Право на ZDR. Для ZDR может требоваться одобрение, определённый тариф или договор, и пока его не включат, оно выключено.
  • Охват эндпоинтов. Чат может подпадать, а хранение файлов, пакетные задания или дообучение — нет.
  • Исключения ради безопасности. FAQ OpenRouter, например, определяет ZDR как “no routine storage of prompts or responses after processing, apart from a CSAM exception” (перевод: «отсутствие регулярного хранения промптов и ответов после обработки, за исключением случаев CSAM»).
  • Слои над моделью. Шлюз, роутер или инструмент наблюдаемости посередине может логировать промпты, даже если провайдер модели этого не делает. Спрашивайте каждый слой.
  • Ваши собственные системы. Логи вашего приложения, трекеры ошибок и аналитика часто хранят больше контента, чем провайдер.

Какие 10 вопросов задать провайдеру?

  1. Хранятся ли промпты и ответы после запроса? Хоть где-нибудь? Включая логи, кэши, очереди и резервные копии.
  2. Используется ли какой-либо контент для обучения или оценки? Вами или поставщиком модели?
  3. Что вы храните, поле за полем? Попросите список.
  4. Как долго хранятся записи об использовании и зачем?
  5. Кто управляет GPU? Ваш провайдер, облако или реселлер реселлера?
  6. Какие субподрядчики (субобработчики) могут видеть содержимое запросов?
  7. Как проверяется хранение? Политикой или автоматической проверкой?
  8. Можно ли привязать ключи к моим IP-адресам? Утёкший ключ — тоже путь к данным.
  9. Где находится оборудование и можно ли выбрать регион?
  10. Что происходит при обращении в поддержку? Видят ли сотрудники контент, когда вы сообщаете об ошибке?

Попросите ответы в письменном виде и отметьте, какой документ делает их обязывающими: условия использования, заявление о конфиденциальности или подписанное соглашение.

Как на них отвечает BroadNet Inference?

Вопрос BroadNet Inference
Хранятся ли промпты, изображения, аудио и ответы Нет; обрабатываются ради запроса и не хранятся
Обучение на ваших данных Нет; заявление о конфиденциальности исключает обучение, дообучение и оценку на данных инференса
Что хранится Записи о трафике, использовании и аккаунте без содержимого (полный список)
Как долго хранятся записи Столько, сколько требуют обязательства по биллингу, налогам, безопасности и закону
Проверка Ежечасная проверка конфигурации шлюза на работу без хранения контента
Оборудование Заявление о конфиденциальности говорит, что размещённые модели работают на “BroadNet-owned or leased hardware in the United States, with partner capacity as backup” (перевод: «оборудовании в США, принадлежащем BroadNet или арендованном, с мощностями партнёров в резерве»); модели, которые обслуживают партнёры, работают на условиях ZDR у партнёров по инференсу в США
Место хранения данных Согласуйте места обработки с BroadNet до отправки данных, к месту хранения которых есть требования (чек-лист по GDPR)
Защита ключей Белые списки IP, до 32 записей; изменения и отзывы применяются к новым запросам в течение пяти секунд
Хранимые ключи Только хеши SHA-256; ключ в открытом виде показывается один раз

Документация BroadNet описывает нулевое хранение данных как “built into how we serve requests, not only stated in policy” (перевод: «встроенное в то, как мы обслуживаем запросы, а не только заявленное в политике»). Оно действует для каждого запроса, и включать ничего не нужно. Подробности — в заявлении о конфиденциальности.

Распространяется ли ZDR на речь и арабское аудио?

Голос — самые чувствительные входные данные, с которыми работает большинство продуктов: за десять секунд голосовое сообщение может выдать имя, номер телефона и сведения о здоровье. Если вы распознаёте звонки или голосовые сообщения WhatsApp, задайте те же десять вопросов об аудио и транскриптах. См. руководство покупателя API распознавания арабской речи.

Как проверить ответы провайдера?

  1. Читайте заявление о конфиденциальности и справочник API, а не только маркетинговую страницу. Ищите список по полям.
  2. Проверьте охват. На какие модели, эндпоинты и тарифы распространяется обещание?
  3. Посмотрите, что возвращает API. Если в панели видны ваши прошлые промпты, значит, они где-то хранятся.
  4. Спросите о процессе поддержки. Кто и что видит, когда вы открываете тикет?
  5. Запишите ответы в карточку поставщика, со ссылками и датой проверки.

Чего ZDR не решает?

Нулевое хранение данных защищает то, что происходит после того, как ваш запрос дошёл до провайдера. Вам по-прежнему нужно:

Когда переносите приложение от одного провайдера к другому, добавьте эти проверки в чек-лист миграции. Если вы работаете через шлюз, задайте ему те же вопросы; сравнение с OpenRouter показывает, как ZDR устроено у одного роутера.

Какое место здесь занимает BroadNet Inference

BroadNet Inference подходит командам, которым нужно ZDR для каждого запроса без подачи заявки — в том числе на моделях, размещённых у партнёров по инференсу в США, которые, по её заявлению о конфиденциальности, работают на условиях нулевого хранения данных. Как и любой провайдер, она хранит записи без содержимого для биллинга и безопасности. Если ваши данные нужно обрабатывать в определённом регионе, согласуйте места обработки с BroadNet до отправки данных; по умолчанию её собственные и размещённые модели работают в США.

Вопросы и ответы

Что означает нулевое хранение данных для LLM API?

Провайдер обрабатывает ваши промпты, файлы и ответы, чтобы выполнить запрос, и не хранит этот контент после — ни в логах, ни в кэшах, ни в резервных копиях, ни в обучающих наборах. Записи без содержимого, например время выполнения и число токенов, обычно всё равно сохраняются.

Нулевое хранение данных означает, что логов нет совсем?

Нет. Провайдеры хранят служебные записи: время выполнения, число токенов, стоимость, коды состояния и IP-адреса. Нулевое хранение данных означает, что в этих записях нет содержимого промптов и ответов.

«Мы не обучаемся на ваших данных» — это то же самое, что нулевое хранение данных?

Нет. Провайдер может обещать не обучать модели на данных API и всё равно хранить их какое-то время, например для отслеживания злоупотреблений. В документации OpenAI сказано, что данные API по умолчанию не используются для обучения, а логи отслеживания злоупотреблений хранятся до 30 дней.

Используются ли мои промпты для обучения моделей в BroadNet Inference?

Нет. В заявлении BroadNet о конфиденциальности сказано, что данные инференса не используются "to train, fine-tune or evaluate models" (перевод: «для обучения, дообучения или оценки моделей»), а промпты, изображения, аудио, ответы и транскрипты не хранятся после запроса.

Достаточно ли нулевого хранения данных для GDPR?

Помогает, но само по себе вопрос не решает. Вам по-прежнему нужны законное основание, реестр операций обработки и соглашение с каждым обработчиком. Спросите своего ответственного за защиту данных: ZDR сокращает то, что хранит провайдер, но не ваши собственные обязанности.

Где BroadNet запускает свои модели?

По заявлению BroadNet о конфиденциальности, её собственные и размещённые модели с открытыми весами работают на принадлежащем BroadNet или арендованном оборудовании в США, а мощности партнёров служат резервом. Модели, которые обслуживают партнёры, работают у партнёров по инференсу в США на условиях нулевого хранения данных. Если у ваших данных есть требования к месту хранения, согласуйте места обработки с BroadNet до отправки.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity