BroadRouter

Guardrails (barreras de protección)

Actualizado

Los guardrails son controles que una aplicación ejecuta alrededor de una llamada a un modelo de lenguaje para mantenerla dentro de límites definidos. Los de entrada filtran lo que entra al modelo, los de salida revisan lo que sale y los de herramientas validan las acciones antes de ejecutarlas. Un control fallido bloquea, reescribe o marca la solicitud.

También llamado: guardrails, barreras de protección, salvaguardas de IA, controles de seguridad para LLM, LLM guardrails, AI guardrails, input guardrails, output guardrails, safety rails

Los guardrails son los controles que usted coloca alrededor de un modelo para que una entrada o una salida mala se detenga en su código, no en su usuario.

Cómo funciona

El OpenAI Agents SDK describe los guardrails como “checks and validations of user input and agent output” (traducción: controles y validaciones de la entrada del usuario y de la salida del agente) y define tres tipos:

Tipo Cuándo se ejecuta Control típico
Entrada Antes de la primera llamada al modelo o en paralelo con ella Solicitudes fuera de tema, abusivas o con inyección
Salida Después de la respuesta final Secretos filtrados, incumplimientos de políticas, formato incorrecto
Herramienta Antes y después de ejecutar una herramienta de función Argumentos dentro de rango, ninguna acción destructiva

Cuando un control falla, un “tripwire” (disparador) lanza una excepción y detiene la ejecución. Los controles de entrada pueden ser bloqueantes (el modelo principal nunca empieza) o paralelos (menor latencia, pero puede que ya se hayan gastado tokens y llamadas a herramientas cuando salta el disparador).

La biblioteca de código abierto NeMo Guardrails de NVIDIA usa cinco etapas: rails de entrada, de recuperación, de diálogo, de ejecución y de salida. La documentación de Anthropic sugiere un “harmlessness screen” (filtro de inocuidad): un modelo pequeño y rápido que clasifica la entrada del usuario antes de que llegue a la conversación principal, con salida estructurada para que el veredicto sea un verdadero o falso fácil de procesar.

No todos los guardrails necesitan un modelo. Los filtros con regex, las listas de permitidos, la validación con JSON Schema y los límites de longitud son baratos y deterministas.

Por qué importa

  • Seguridad. Los guardrails son una capa de defensa contra la inyección de prompts y los jailbreaks. Ninguna capa por sí sola los detiene todos.
  • Costo. Un filtro barato puede rechazar una solicitud antes de que un modelo caro lea 100,000 tokens de contexto.
  • Agentes. Un agente que envía correos o edita datos necesita controles a nivel de herramienta y aprobación humana para los pasos de alto riesgo, no solo un filtro sobre el texto final.
  • Mídalos. Un guardrail que bloquea solicitudes válidas es un error. Haga seguimiento de los falsos positivos con un conjunto de evaluación.

En BroadNet Inference

La documentación de BroadNet no incluye guardrails, endpoints de moderación ni filtros de contenido. Considere los guardrails una tarea de su aplicación. Un patrón habitual es un filtro con un modelo más pequeño, como BroadNet Gemma 4 VL 26B ($0.10 por 1M de tokens de entrada), y después la llamada principal a un modelo más grande. Si las entradas contienen datos personales, consulte enviar datos sensibles a una API de LLM.

Preguntas frecuentes

¿Los guardrails forman parte del modelo?

No. Los modelos tienen sus propios rechazos aprendidos en el entrenamiento, pero los guardrails son código o llamadas a modelos aparte que su aplicación ejecuta antes y después de la llamada principal. Usted decide qué revisan.

¿Los guardrails añaden latencia?

Un control de entrada bloqueante añade una llamada extra antes de que empiece el modelo principal. El OpenAI Agents SDK puede, en cambio, ejecutar los guardrails de entrada en paralelo, lo que ahorra tiempo pero puede gastar tokens antes de que salte el control.

¿BroadNet Inference incluye guardrails?

La documentación de BroadNet no incluye guardrails ni filtros de contenido como función. Constrúyalos en su aplicación, por ejemplo con un modelo pequeño como filtro y validación de esquema en las salidas.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity