BroadRouter
Başlayın

Guardrails (koruma bariyerleri)

Güncellendi

Guardrails (koruma bariyerleri), bir uygulamanın dil modeli çağrısını belirlenen sınırlar içinde tutmak için çağrının etrafında çalıştırdığı denetimlerdir. Girdi guardrail'leri modele gireni, çıktı guardrail'leri modelden çıkanı denetler, araç guardrail'leri ise eylemleri çalışmadan önce doğrular. Başarısız bir denetim isteği engeller, yeniden yazar veya işaretler.

Diğer adları: guardrails, koruma bariyerleri, LLM guardrails, yapay zekâ guardrails, AI guardrails, girdi denetimi, çıktı denetimi, güvenlik bariyerleri, input guardrails, output guardrails, safety rails

Guardrails, kötü bir girdi veya kötü bir çıktı kullanıcınızda değil kodunuzda dursun diye bir modelin etrafına koyduğunuz denetimlerdir.

Nasıl çalışır

OpenAI Agents SDK guardrails’i “checks and validations of user input and agent output” (çeviri: kullanıcı girdisinin ve ajan çıktısının denetimleri ve doğrulamaları) olarak tanımlar ve üç tür belirler:

Tür Ne zaman çalışır Tipik denetim
Girdi İlk model çağrısından önce veya onunla birlikte Konu dışı, taciz içeren veya enjeksiyonlu istekler
Çıktı Son yanıttan sonra Sızan gizli bilgiler, politika ihlalleri, yanlış biçim
Araç Bir fonksiyon aracı çalışmadan önce ve sonra Aralık içindeki argümanlar, yıkıcı eylem olmaması

Bir denetim başarısız olduğunda bir “tripwire” (tetik teli) bir istisna fırlatır ve çalışmayı durdurur. Girdi denetimleri engelleyici (ana model hiç başlamaz) veya paralel (daha düşük gecikme, ama tetik devreye girdiğinde token’lar ve araç çağrıları zaten harcanmış olabilir) olabilir.

NVIDIA’nın açık kaynaklı NeMo Guardrails kütüphanesi beş aşama kullanır: input, retrieval, dialog, execution ve output rail’leri (girdi, getirme, diyalog, yürütme ve çıktı). Anthropic’in belgeleri bir “harmlessness screen” (çeviri: zararsızlık taraması) önerir: kullanıcı girdisini ana sohbete ulaşmadan önce sınıflandıran küçük, hızlı bir model; kararın ayrıştırılabilir bir true veya false olması için yapılandırılmış çıktı ile.

Her guardrail bir model gerektirmez. Regex filtreleri, izin listeleri, JSON Schema doğrulaması ve uzunluk sınırları ucuz ve deterministiktir.

Neden önemli

  • Güvenlik. Guardrails, istem enjeksiyonuna ve jailbreak’lere karşı bir savunma katmanıdır. Hiçbir tek katman hepsini durdurmaz.
  • Maliyet. Ucuz bir tarama, pahalı bir model 100.000 token’lık bağlamı okumadan önce isteği reddedebilir.
  • Ajanlar. E-posta gönderen veya veri düzenleyen bir ajan, yalnızca son metne bir filtre değil, araç düzeyinde denetimler ve yüksek riskli adımlar için insan onayı gerektirir.
  • Onları ölçün. İyi istekleri engelleyen bir guardrail bir hatadır. Yanlış pozitifleri bir eval setiyle takip edin.

BroadNet Inference’ta

BroadNet’in belgeleri guardrails, moderasyon uç noktaları veya içerik filtreleri listelemez. Guardrails’i uygulamanızın işi olarak görün. Yaygın bir kalıp, BroadNet Gemma 4 VL 26B (1M girdi token’ı başına $0.10) gibi daha küçük bir modelde bir tarama, ardından daha büyük bir modelde ana çağrıdır. Girdiler kişisel veri içeriyorsa bir LLM API’sine hassas veri gönderme yazısına bakın.

Sık sorulan sorular

Guardrails modelin bir parçası mı?

Hayır. Modellerin eğitimle kazanılmış kendi reddetmeleri vardır, ancak guardrails uygulamanızın ana çağrıdan önce ve sonra çalıştırdığı ayrı kod veya model çağrılarıdır. Neyi denetleyeceklerine siz karar verirsiniz.

Guardrails gecikme ekler mi?

Engelleyici bir girdi denetimi, ana model başlamadan önce bir ek çağrı ekler. OpenAI Agents SDK bunun yerine girdi guardrail'lerini paralel çalıştırabilir; bu zaman kazandırır ama denetim tetiklenmeden önce token harcanabilir.

BroadNet Inference guardrails içeriyor mu?

BroadNet'in belgeleri guardrails veya içerik filtrelerini bir özellik olarak listelemez. Bunları uygulamanızda kurun; örneğin tarayıcı olarak küçük bir model ve çıktılarda şema doğrulaması kullanın.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor