Guardrails, kötü bir girdi veya kötü bir çıktı kullanıcınızda değil kodunuzda dursun diye bir modelin etrafına koyduğunuz denetimlerdir.
Nasıl çalışır
OpenAI Agents SDK guardrails’i “checks and validations of user input and agent output” (çeviri: kullanıcı girdisinin ve ajan çıktısının denetimleri ve doğrulamaları) olarak tanımlar ve üç tür belirler:
| Tür | Ne zaman çalışır | Tipik denetim |
|---|---|---|
| Girdi | İlk model çağrısından önce veya onunla birlikte | Konu dışı, taciz içeren veya enjeksiyonlu istekler |
| Çıktı | Son yanıttan sonra | Sızan gizli bilgiler, politika ihlalleri, yanlış biçim |
| Araç | Bir fonksiyon aracı çalışmadan önce ve sonra | Aralık içindeki argümanlar, yıkıcı eylem olmaması |
Bir denetim başarısız olduğunda bir “tripwire” (tetik teli) bir istisna fırlatır ve çalışmayı durdurur. Girdi denetimleri engelleyici (ana model hiç başlamaz) veya paralel (daha düşük gecikme, ama tetik devreye girdiğinde token’lar ve araç çağrıları zaten harcanmış olabilir) olabilir.
NVIDIA’nın açık kaynaklı NeMo Guardrails kütüphanesi beş aşama kullanır: input, retrieval, dialog, execution ve output rail’leri (girdi, getirme, diyalog, yürütme ve çıktı). Anthropic’in belgeleri bir “harmlessness screen” (çeviri: zararsızlık taraması) önerir: kullanıcı girdisini ana sohbete ulaşmadan önce sınıflandıran küçük, hızlı bir model; kararın ayrıştırılabilir bir true veya false olması için yapılandırılmış çıktı ile.
Her guardrail bir model gerektirmez. Regex filtreleri, izin listeleri, JSON Schema doğrulaması ve uzunluk sınırları ucuz ve deterministiktir.
Neden önemli
- Güvenlik. Guardrails, istem enjeksiyonuna ve jailbreak’lere karşı bir savunma katmanıdır. Hiçbir tek katman hepsini durdurmaz.
- Maliyet. Ucuz bir tarama, pahalı bir model 100.000 token’lık bağlamı okumadan önce isteği reddedebilir.
- Ajanlar. E-posta gönderen veya veri düzenleyen bir ajan, yalnızca son metne bir filtre değil, araç düzeyinde denetimler ve yüksek riskli adımlar için insan onayı gerektirir.
- Onları ölçün. İyi istekleri engelleyen bir guardrail bir hatadır. Yanlış pozitifleri bir eval setiyle takip edin.
BroadNet Inference’ta
BroadNet’in belgeleri guardrails, moderasyon uç noktaları veya içerik filtreleri listelemez. Guardrails’i uygulamanızın işi olarak görün. Yaygın bir kalıp, BroadNet Gemma 4 VL 26B (1M girdi token’ı başına $0.10) gibi daha küçük bir modelde bir tarama, ardından daha büyük bir modelde ana çağrıdır. Girdiler kişisel veri içeriyorsa bir LLM API’sine hassas veri gönderme yazısına bakın.