Guardrails sind die Prüfungen, die Sie um ein Modell legen, damit ein schlechter Input oder Output in Ihrem Code hängen bleibt und nicht bei Ihren Nutzern ankommt.
So funktioniert es
Das OpenAI Agents SDK beschreibt Guardrails als „checks and validations of user input and agent output“ (Übersetzung: „Prüfungen und Validierungen von Nutzer-Input und Agenten-Output“) und definiert drei Arten:
| Art | Läuft | Typische Prüfung |
|---|---|---|
| Input | Vor oder parallel zum ersten Modellaufruf | Themenfremde, missbräuchliche oder eingeschleuste Anfragen |
| Output | Nach der finalen Antwort | Geleakte Secrets, Richtlinienverstöße, falsches Format |
| Tool | Vor und nach der Ausführung eines Function Tools | Argumente im zulässigen Bereich, keine destruktive Aktion |
Schlägt eine Prüfung fehl, löst ein „Tripwire“ eine Exception aus und stoppt den Lauf. Input-Prüfungen können blockierend sein (das Hauptmodell startet gar nicht) oder parallel laufen (geringere Latenz, aber Tokens und Tool-Aufrufe können schon verbraucht sein, wenn das Tripwire auslöst).
Die Open-Source-Bibliothek NeMo Guardrails von NVIDIA nutzt fünf Stufen: Input-, Retrieval-, Dialog-, Execution- und Output-Rails. Die Dokumentation von Anthropic schlägt einen „harmlessness screen“ (Übersetzung: „Unbedenklichkeitsprüfung“) vor: ein kleines, schnelles Modell, das den Nutzer-Input klassifiziert, bevor er das Hauptgespräch erreicht, mit strukturierter Ausgabe, damit das Urteil ein parsebares true oder false ist.
Nicht jede Guardrail braucht ein Modell. Regex-Filter, Allow-Lists, Validierung per JSON Schema und Längenlimits sind günstig und deterministisch.
Warum es wichtig ist
- Sicherheit. Guardrails sind eine Verteidigungsschicht gegen Prompt Injection und Jailbreaks. Keine einzelne Schicht hält alle auf.
- Kosten. Ein günstiger Vorfilter kann eine Anfrage ablehnen, bevor ein teures Modell 100.000 Tokens Kontext liest.
- Agenten. Ein Agent, der E-Mails sendet oder Daten ändert, braucht Prüfungen auf Tool-Ebene und menschliche Freigabe für riskante Schritte, nicht nur einen Filter auf dem finalen Text.
- Messen Sie sie. Eine Guardrail, die gute Anfragen blockiert, ist ein Bug. Verfolgen Sie False Positives mit einem Eval-Set.
Bei BroadNet Inference
Die Dokumentation von BroadNet nennt keine Guardrails, keine Moderations-Endpunkte und keine Inhaltsfilter. Betrachten Sie Guardrails als Aufgabe Ihrer Anwendung. Ein verbreitetes Muster ist ein Vorfilter auf einem kleineren Modell wie BroadNet Gemma 4 VL 26B ($0.10 pro 1M Input-Tokens), danach der Hauptaufruf auf einem größeren Modell. Wenn Inputs personenbezogene Daten enthalten, lesen Sie sensible Daten an eine LLM-API senden.