BroadRouter

Guardrails (lớp bảo vệ cho LLM)

Cập nhật

Guardrails là các bước kiểm tra ứng dụng chạy quanh lời gọi model ngôn ngữ để giữ nó trong giới hạn. Guardrail input sàng lọc thứ đi vào model, guardrail output kiểm tra thứ đi ra, và guardrail tool xác thực hành động trước khi chạy. Kiểm tra thất bại thì request bị chặn, sửa hoặc gắn cờ.

Còn gọi là: guardrails là gì, guardrail LLM, lớp bảo vệ AI, rào chắn an toàn AI, kiểm duyệt input output, LLM guardrails, AI guardrails, input guardrails, output guardrails, safety rails

Guardrails là các bước kiểm tra bạn bọc quanh model để một input xấu hay output xấu dừng lại ở code của bạn, chứ không đến tay người dùng.

Cách hoạt động

OpenAI Agents SDK mô tả guardrails là “checks and validations of user input and agent output” (Bản dịch: các bước kiểm tra và xác thực input của người dùng và output của agent) và định nghĩa ba loại:

Loại Chạy khi nào Kiểm tra điển hình
Input Trước hoặc song song với lời gọi model đầu tiên Request lạc đề, lăng mạ hoặc bị chèn lệnh
Output Sau câu trả lời cuối Lộ bí mật, vi phạm chính sách, sai định dạng
Tool Trước và sau khi một function tool chạy Tham số trong phạm vi, không có hành động phá hủy

Khi một kiểm tra thất bại, một “tripwire” (Bản dịch: dây bẫy) ném ra exception và dừng lần chạy. Kiểm tra input có thể là kiểu chặn (model chính không bao giờ bắt đầu) hoặc song song (độ trễ thấp hơn, nhưng token và lời gọi tool có thể đã bị tiêu khi tripwire kích hoạt).

Thư viện mã nguồn mở NeMo Guardrails của NVIDIA dùng năm giai đoạn: rail input, truy xuất, hội thoại, thực thi và output. Tài liệu của Anthropic gợi ý một “harmlessness screen” (Bản dịch: bộ sàng lọc mức vô hại): một model nhỏ, nhanh phân loại input của người dùng trước khi nó tới cuộc hội thoại chính, với đầu ra có cấu trúc để kết luận là giá trị true hoặc false phân tích được.

Không phải guardrail nào cũng cần model. Bộ lọc regex, danh sách cho phép, xác thực JSON Schema và giới hạn độ dài đều rẻ và cho kết quả xác định.

Vì sao quan trọng

  • An toàn. Guardrails là một lớp phòng thủ trước prompt injection và jailbreak. Không lớp đơn lẻ nào chặn được tất cả.
  • Chi phí. Một bước sàng lọc rẻ có thể từ chối request trước khi một model đắt tiền đọc 100.000 token context.
  • Agent. Một agent gửi email hay sửa dữ liệu cần kiểm tra ở mức tool và sự phê duyệt của con người cho các bước rủi ro cao, không chỉ một bộ lọc trên văn bản cuối.
  • Hãy đo lường chúng. Guardrail chặn nhầm request tốt là một bug. Hãy theo dõi dương tính giả bằng một bộ eval.

Trên BroadNet Inference

Tài liệu BroadNet không liệt kê guardrails, endpoint kiểm duyệt hay bộ lọc nội dung. Hãy coi guardrails là việc của ứng dụng. Một mẫu phổ biến là sàng lọc bằng một model nhỏ hơn như BroadNet Gemma 4 VL 26B ($0.10 mỗi 1 triệu token input), rồi mới gọi chính trên một model lớn hơn. Nếu input chứa dữ liệu cá nhân, xem gửi dữ liệu nhạy cảm tới LLM API.

Câu hỏi thường gặp

Guardrails có phải là một phần của model không?

Không. Model có cơ chế từ chối được huấn luyện sẵn, nhưng guardrails là code hoặc lời gọi model riêng mà ứng dụng của bạn chạy trước và sau lời gọi chính. Bạn quyết định chúng kiểm tra gì.

Guardrails có làm tăng độ trễ không?

Một bước kiểm tra input kiểu chặn thêm một lời gọi trước khi model chính bắt đầu. OpenAI Agents SDK có thể chạy guardrail input song song thay vào đó, tiết kiệm thời gian nhưng có thể tiêu token trước khi kiểm tra kích hoạt.

BroadNet Inference có kèm guardrails không?

Tài liệu BroadNet không liệt kê guardrails hay bộ lọc nội dung như một tính năng. Hãy tự xây trong ứng dụng, ví dụ dùng một model nhỏ để sàng lọc và xác thực schema cho output.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity