Les guardrails sont les contrôles que vous placez autour d’un modèle pour qu’une mauvaise entrée ou une mauvaise sortie s’arrête dans votre code, et pas chez votre utilisateur.
Comment ça marche
L’OpenAI Agents SDK décrit les guardrails comme des « checks and validations of user input and agent output » (traduction : « contrôles et validations des entrées utilisateur et des sorties de l’agent ») et en définit trois types :
| Type | S’exécute | Contrôle typique |
|---|---|---|
| Entrée | Avant ou en parallèle du premier appel au modèle | Requêtes hors sujet, abusives ou injectées |
| Sortie | Après la réponse finale | Secrets divulgués, violations de règles, mauvais format |
| Outil | Avant et après l’exécution d’un outil de fonction | Arguments dans les bornes, aucune action destructrice |
Quand un contrôle échoue, un « tripwire » lève une exception et arrête l’exécution. Les contrôles d’entrée peuvent être bloquants (le modèle principal ne démarre jamais) ou parallèles (latence plus faible, mais des tokens et des appels d’outils peuvent déjà être consommés quand le tripwire se déclenche).
La bibliothèque open source NeMo Guardrails de NVIDIA utilise cinq étapes : rails d’entrée, de récupération, de dialogue, d’exécution et de sortie. La documentation d’Anthropic suggère un « harmlessness screen » (traduction : « filtre d’innocuité ») : un petit modèle rapide qui classe l’entrée utilisateur avant qu’elle n’atteigne la conversation principale, avec une sortie structurée pour que le verdict soit un true ou false analysable.
Tous les guardrails n’ont pas besoin d’un modèle. Les filtres regex, les listes d’autorisation, la validation par JSON Schema et les limites de longueur sont peu coûteux et déterministes.
Pourquoi c’est important
- Sécurité. Les guardrails sont une couche de défense contre l’injection de prompt et les jailbreaks. Aucune couche ne les arrête tous à elle seule.
- Coût. Un filtre bon marché peut rejeter une requête avant qu’un modèle coûteux ne lise 100 000 tokens de contexte.
- Agents. Un agent qui envoie des e-mails ou modifie des données a besoin de contrôles au niveau des outils et d’une validation humaine pour les étapes à risque, pas seulement d’un filtre sur le texte final.
- Mesurez-les. Un guardrail qui bloque de bonnes requêtes est un bug. Suivez les faux positifs avec un jeu d’eval.
Sur BroadNet Inference
La documentation de BroadNet ne mentionne ni guardrails, ni endpoints de modération, ni filtres de contenu. Considérez les guardrails comme le travail de votre application. Un schéma courant consiste à filtrer avec un modèle plus petit comme BroadNet Gemma 4 VL 26B ($0.10 par million de tokens d’entrée), puis à faire l’appel principal sur un modèle plus grand. Si les entrées contiennent des données personnelles, voir envoyer des données sensibles à une API LLM.