Guardrails ialah semakan yang anda balut di sekeliling model supaya input atau output yang buruk berhenti di kod anda, bukan sampai kepada pengguna anda.
Cara ia berfungsi
OpenAI Agents SDK menerangkan guardrails sebagai “checks and validations of user input and agent output” (Terjemahan BroadRouter: “semakan dan pengesahan input pengguna dan output ejen”) dan mentakrifkan tiga jenis:
| Jenis | Bila dijalankan | Semakan biasa |
|---|---|---|
| Input | Sebelum atau serentak dengan panggilan model pertama | Permintaan luar topik, kesat atau disuntik |
| Output | Selepas jawapan akhir | Rahsia bocor, pelanggaran dasar, format salah |
| Alat | Sebelum dan selepas alat fungsi dijalankan | Argumen dalam julat, tiada tindakan yang merosakkan |
Apabila semakan gagal, “tripwire” mencetuskan exception dan menghentikan larian. Semakan input boleh jadi menyekat (model utama tidak pernah bermula) atau selari (kependaman lebih rendah, tetapi token dan panggilan alat mungkin sudah digunakan apabila tripwire tercetus).
Pustaka sumber terbuka NeMo Guardrails daripada NVIDIA menggunakan lima peringkat: rel input, pengambilan semula, dialog, pelaksanaan dan output. Dokumentasi Anthropic mencadangkan “harmlessness screen” (penapis keselamatan): model kecil yang pantas yang mengelaskan input pengguna sebelum ia sampai ke perbualan utama, dengan output berstruktur supaya keputusannya boleh dihuraikan sebagai true atau false.
Bukan setiap guardrail memerlukan model. Penapis regex, senarai benar (allow-list), pengesahan JSON Schema dan had panjang adalah murah dan deterministik.
Mengapa ia penting
- Keselamatan. Guardrails ialah satu lapisan pertahanan terhadap prompt injection dan jailbreak. Tiada satu lapisan pun yang dapat menghalang kesemuanya.
- Kos. Penapis yang murah boleh menolak permintaan sebelum model yang mahal membaca 100,000 token konteks.
- Ejen. Ejen yang menghantar e-mel atau menyunting data memerlukan semakan peringkat alat dan kelulusan manusia untuk langkah berisiko tinggi, bukan sekadar penapis pada teks akhir.
- Ukurnya. Guardrail yang menyekat permintaan yang baik ialah pepijat. Jejaki positif palsu dengan set eval.
Di BroadNet Inference
Dokumentasi BroadNet tidak menyenaraikan guardrails, endpoint moderasi atau penapis kandungan. Anggap guardrails sebagai tugas aplikasi anda. Corak yang biasa ialah penapis pada model yang lebih kecil seperti BroadNet Gemma 4 VL 26B ($0.10 bagi setiap 1M token input), kemudian panggilan utama pada model yang lebih besar. Jika input mengandungi data peribadi, lihat menghantar data sensitif ke API LLM.