Ang guardrails ay ang mga check na ibinabalot mo sa isang model para huminto sa code mo ang masamang input o output, hindi sa user mo.
Paano ito gumagana
Inilalarawan ng OpenAI Agents SDK ang guardrails bilang “checks and validations of user input and agent output” (Salin ng BroadRouter: “mga check at validation ng input ng user at output ng agent”) at tatlong uri ang tinutukoy nito:
| Uri | Kailan tumatakbo | Karaniwang check |
|---|---|---|
| Input | Bago o kasabay ng unang model call | Off-topic, abusive o injected na request |
| Output | Pagkatapos ng huling sagot | Nag-leak na secret, paglabag sa policy, maling format |
| Tool | Bago at pagkatapos tumakbo ang isang function tool | Nasa range ang mga argument, walang mapanirang aksyon |
Kapag pumalya ang isang check, nagra-raise ng exception ang isang “tripwire” at pinapahinto ang run. Puwedeng blocking ang mga input check (hindi na magsisimula ang pangunahing model) o parallel (mas mababang latency, pero baka nagastos na ang mga token at tool call pagdating ng tripwire).
Limang yugto ang ginagamit ng open-source na NeMo Guardrails library ng NVIDIA: input, retrieval, dialog, execution at output rails. Iminumungkahi ng docs ng Anthropic ang isang “harmlessness screen”: isang maliit at mabilis na model na nagka-classify ng input ng user bago ito umabot sa pangunahing conversation, gamit ang structured output para ma-parse ang hatol bilang true o false.
Hindi lahat ng guardrail ay nangangailangan ng model. Mura at deterministic ang mga regex filter, allow-list, JSON Schema validation at limit sa haba.
Bakit ito mahalaga
- Safety. Isang layer ng depensa ang guardrails laban sa prompt injection at jailbreaks. Walang iisang layer na nakakapigil sa lahat ng ito.
- Gastos. Kayang tanggihan ng murang screen ang isang request bago pa magbasa ang isang mahal na model ng 100,000 token ng context.
- Mga agent. Ang agent na nagpapadala ng email o nag-e-edit ng data ay nangangailangan ng tool-level na check at approval ng tao para sa mga mapanganib na hakbang, hindi lang ng filter sa huling text.
- Sukatin ang mga ito. Bug ang guardrail na nagba-block ng mga maayos na request. Bantayan ang mga false positive gamit ang isang eval set.
Sa BroadNet Inference
Walang guardrails, moderation endpoint o content filter na nakalista sa docs ng BroadNet. Ituring na trabaho ng application mo ang guardrails. Isang karaniwang pattern ang screen sa mas maliit na model gaya ng BroadNet Gemma 4 VL 26B ($0.10 kada 1M input token), tapos ang pangunahing call sa mas malaking model. Kung may personal data ang mga input, tingnan ang pagpapadala ng sensitibong data sa isang LLM API.