Guardrails là các bước kiểm tra bạn bọc quanh model để một input xấu hay output xấu dừng lại ở code của bạn, chứ không đến tay người dùng.
Cách hoạt động
OpenAI Agents SDK mô tả guardrails là “checks and validations of user input and agent output” (Bản dịch: các bước kiểm tra và xác thực input của người dùng và output của agent) và định nghĩa ba loại:
| Loại | Chạy khi nào | Kiểm tra điển hình |
|---|---|---|
| Input | Trước hoặc song song với lời gọi model đầu tiên | Request lạc đề, lăng mạ hoặc bị chèn lệnh |
| Output | Sau câu trả lời cuối | Lộ bí mật, vi phạm chính sách, sai định dạng |
| Tool | Trước và sau khi một function tool chạy | Tham số trong phạm vi, không có hành động phá hủy |
Khi một kiểm tra thất bại, một “tripwire” (Bản dịch: dây bẫy) ném ra exception và dừng lần chạy. Kiểm tra input có thể là kiểu chặn (model chính không bao giờ bắt đầu) hoặc song song (độ trễ thấp hơn, nhưng token và lời gọi tool có thể đã bị tiêu khi tripwire kích hoạt).
Thư viện mã nguồn mở NeMo Guardrails của NVIDIA dùng năm giai đoạn: rail input, truy xuất, hội thoại, thực thi và output. Tài liệu của Anthropic gợi ý một “harmlessness screen” (Bản dịch: bộ sàng lọc mức vô hại): một model nhỏ, nhanh phân loại input của người dùng trước khi nó tới cuộc hội thoại chính, với đầu ra có cấu trúc để kết luận là giá trị true hoặc false phân tích được.
Không phải guardrail nào cũng cần model. Bộ lọc regex, danh sách cho phép, xác thực JSON Schema và giới hạn độ dài đều rẻ và cho kết quả xác định.
Vì sao quan trọng
- An toàn. Guardrails là một lớp phòng thủ trước prompt injection và jailbreak. Không lớp đơn lẻ nào chặn được tất cả.
- Chi phí. Một bước sàng lọc rẻ có thể từ chối request trước khi một model đắt tiền đọc 100.000 token context.
- Agent. Một agent gửi email hay sửa dữ liệu cần kiểm tra ở mức tool và sự phê duyệt của con người cho các bước rủi ro cao, không chỉ một bộ lọc trên văn bản cuối.
- Hãy đo lường chúng. Guardrail chặn nhầm request tốt là một bug. Hãy theo dõi dương tính giả bằng một bộ eval.
Trên BroadNet Inference
Tài liệu BroadNet không liệt kê guardrails, endpoint kiểm duyệt hay bộ lọc nội dung. Hãy coi guardrails là việc của ứng dụng. Một mẫu phổ biến là sàng lọc bằng một model nhỏ hơn như BroadNet Gemma 4 VL 26B ($0.10 mỗi 1 triệu token input), rồi mới gọi chính trên một model lớn hơn. Nếu input chứa dữ liệu cá nhân, xem gửi dữ liệu nhạy cảm tới LLM API.