BroadRouter
Mulakan

Guardrails (pagar keselamatan LLM)

Dikemas kini

Guardrails ialah semakan yang dijalankan aplikasi di sekeliling panggilan model bahasa untuk mengekalkannya dalam had yang ditetapkan. Guardrails input menapis apa yang masuk ke model, guardrails output menyemak apa yang keluar, dan guardrails alat mengesahkan tindakan sebelum dijalankan. Semakan yang gagal akan menyekat, menulis semula atau membenderakan permintaan.

Juga dikenali sebagai: guardrails, pagar keselamatan AI, LLM guardrails, AI guardrails, input guardrails, output guardrails, safety rails

Guardrails ialah semakan yang anda balut di sekeliling model supaya input atau output yang buruk berhenti di kod anda, bukan sampai kepada pengguna anda.

Cara ia berfungsi

OpenAI Agents SDK menerangkan guardrails sebagai “checks and validations of user input and agent output” (Terjemahan BroadRouter: “semakan dan pengesahan input pengguna dan output ejen”) dan mentakrifkan tiga jenis:

Jenis Bila dijalankan Semakan biasa
Input Sebelum atau serentak dengan panggilan model pertama Permintaan luar topik, kesat atau disuntik
Output Selepas jawapan akhir Rahsia bocor, pelanggaran dasar, format salah
Alat Sebelum dan selepas alat fungsi dijalankan Argumen dalam julat, tiada tindakan yang merosakkan

Apabila semakan gagal, “tripwire” mencetuskan exception dan menghentikan larian. Semakan input boleh jadi menyekat (model utama tidak pernah bermula) atau selari (kependaman lebih rendah, tetapi token dan panggilan alat mungkin sudah digunakan apabila tripwire tercetus).

Pustaka sumber terbuka NeMo Guardrails daripada NVIDIA menggunakan lima peringkat: rel input, pengambilan semula, dialog, pelaksanaan dan output. Dokumentasi Anthropic mencadangkan “harmlessness screen” (penapis keselamatan): model kecil yang pantas yang mengelaskan input pengguna sebelum ia sampai ke perbualan utama, dengan output berstruktur supaya keputusannya boleh dihuraikan sebagai true atau false.

Bukan setiap guardrail memerlukan model. Penapis regex, senarai benar (allow-list), pengesahan JSON Schema dan had panjang adalah murah dan deterministik.

Mengapa ia penting

  • Keselamatan. Guardrails ialah satu lapisan pertahanan terhadap prompt injection dan jailbreak. Tiada satu lapisan pun yang dapat menghalang kesemuanya.
  • Kos. Penapis yang murah boleh menolak permintaan sebelum model yang mahal membaca 100,000 token konteks.
  • Ejen. Ejen yang menghantar e-mel atau menyunting data memerlukan semakan peringkat alat dan kelulusan manusia untuk langkah berisiko tinggi, bukan sekadar penapis pada teks akhir.
  • Ukurnya. Guardrail yang menyekat permintaan yang baik ialah pepijat. Jejaki positif palsu dengan set eval.

Di BroadNet Inference

Dokumentasi BroadNet tidak menyenaraikan guardrails, endpoint moderasi atau penapis kandungan. Anggap guardrails sebagai tugas aplikasi anda. Corak yang biasa ialah penapis pada model yang lebih kecil seperti BroadNet Gemma 4 VL 26B ($0.10 bagi setiap 1M token input), kemudian panggilan utama pada model yang lebih besar. Jika input mengandungi data peribadi, lihat menghantar data sensitif ke API LLM.

Soalan lazim

Adakah guardrails sebahagian daripada model?

Tidak. Model mempunyai penolakan terlatih sendiri, tetapi guardrails ialah kod atau panggilan model berasingan yang dijalankan aplikasi anda sebelum dan selepas panggilan utama. Anda menentukan apa yang disemaknya.

Adakah guardrails menambah kependaman?

Semakan input yang menyekat menambah satu panggilan tambahan sebelum model utama bermula. OpenAI Agents SDK juga boleh menjalankan guardrails input secara selari, yang menjimatkan masa tetapi mungkin menghabiskan token sebelum semakan tercetus.

Adakah BroadNet Inference menyertakan guardrails?

Dokumentasi BroadNet tidak menyenaraikan guardrails atau penapis kandungan sebagai ciri. Bina dalam aplikasi anda, contohnya dengan model kecil sebagai penapis dan pengesahan skema pada output.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity