BroadRouter

Ограничители (guardrails)

Обновлено

Ограничители (guardrails) — это проверки, которые приложение выполняет вокруг вызова языковой модели, чтобы удерживать её в заданных рамках. Входные проверяют то, что попадает в модель, выходные — то, что из неё выходит, а ограничители инструментов проверяют действия до их выполнения. Проваленная проверка блокирует, переписывает или помечает запрос.

Также называют: guardrails, гардрейлы, ограничители, защитные ограничители, ограничители LLM, фильтры LLM, проверки входа и выхода, LLM guardrails, AI guardrails, input guardrails, output guardrails, safety rails

Guardrails — это проверки, которыми вы окружаете модель, чтобы плохой вход или плохой ответ останавливался в вашем коде, а не доходил до пользователя.

Как это работает

OpenAI Agents SDK описывает guardrails как “checks and validations of user input and agent output” (перевод: «проверки и валидацию пользовательского ввода и вывода агента») и выделяет три вида:

Вид Когда выполняется Типичная проверка
Входной До первого вызова модели или параллельно с ним Запросы не по теме, оскорбительные или с инъекциями
Выходной После финального ответа Утечки секретов, нарушения политики, неверный формат
Инструментальный До и после выполнения инструмента-функции Аргументы в допустимом диапазоне, никаких разрушительных действий

Когда проверка не проходит, срабатывает “tripwire” (перевод: «растяжка»): выбрасывается исключение, и выполнение останавливается. Входные проверки бывают блокирующими (основная модель вообще не запускается) или параллельными (задержка меньше, но к моменту срабатывания растяжки токены и вызовы инструментов уже могут быть потрачены).

Открытая библиотека NVIDIA NeMo Guardrails использует пять этапов: ограничители входа, поиска, диалога, выполнения и выхода. Документация Anthropic предлагает “harmlessness screen” (перевод: «фильтр безвредности»): небольшую быструю модель, которая классифицирует пользовательский ввод до того, как он попадёт в основной диалог, со структурированным выводом, чтобы вердикт был разбираемым true или false.

Не каждому ограничителю нужна модель. Фильтры на регулярных выражениях, списки разрешённого, проверка по JSON Schema и ограничения длины дёшевы и детерминированы.

Почему это важно

  • Безопасность. Guardrails — один из уровней защиты от промпт-инъекций и джейлбрейков. Ни один уровень не останавливает их все.
  • Стоимость. Дешёвый фильтр может отклонить запрос до того, как дорогая модель прочитает 100 000 токенов контекста.
  • Агенты. Агенту, который отправляет письма или редактирует данные, нужны проверки на уровне инструментов и одобрение человеком для рискованных шагов, а не только фильтр на финальном тексте.
  • Измеряйте их. Ограничитель, который блокирует хорошие запросы, — это баг. Отслеживайте ложные срабатывания с помощью набора eval.

В BroadNet Inference

В документации BroadNet нет guardrails, эндпоинтов модерации или фильтров контента. Считайте guardrails задачей вашего приложения. Распространённая схема — фильтр на меньшей модели, например BroadNet Gemma 4 VL 26B ($0.10 за 1 млн входных токенов), а затем основной вызов к более крупной модели. Если во входах есть персональные данные, см. статью об отправке чувствительных данных в LLM API.

Вопросы и ответы

Guardrails — это часть модели?

Нет. У моделей есть собственные обученные отказы, но guardrails — это отдельный код или отдельные вызовы моделей, которые приложение выполняет до и после основного вызова. Что именно проверять, решаете вы.

Увеличивают ли guardrails задержку?

Блокирующая проверка входа добавляет ещё один вызов до старта основной модели. OpenAI Agents SDK может вместо этого запускать входные проверки параллельно: это экономит время, но токены могут быть потрачены до срабатывания проверки.

Есть ли guardrails в BroadNet Inference?

В документации BroadNet guardrails и фильтры контента не указаны как функция. Встраивайте их в своё приложение, например используйте небольшую модель в качестве фильтра и проверяйте ответы по схеме.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity