Agent lập trình gửi đi cả repository. Bot hỗ trợ gửi đi tin nhắn của khách hàng. ZDR trả lời câu hỏi tiếp theo: nội dung đó sẽ ra sao sau khi câu trả lời được trả về?
Cách hoạt động
Với ZDR, nhà cung cấp chỉ giữ nội dung prompt và đầu ra trong bộ nhớ khi đang phục vụ request. Sau đó, nội dung không được ghi vào:
- log request hoặc log debug;
- kho lưu trữ giám sát lạm dụng;
- cache hoặc hàng đợi lưu lâu dài;
- tập dữ liệu huấn luyện hoặc đánh giá.
Các bản ghi thường vẫn được giữ, không kèm nội dung, gồm ID request, dấu thời gian, mã trạng thái, model, số token, chi phí và địa chỉ IP của client.
ZDR không phải là mặc định ở mọi nơi. Ví dụ, API của OpenAI mặc định giữ log giám sát lạm dụng tối đa 30 ngày và cung cấp ZDR cho khách hàng được phê duyệt. OpenAI cũng cho biết dữ liệu API không được dùng để huấn luyện trừ khi bạn chủ động đồng ý. Hãy đọc điều khoản của từng nhà cung cấp thay vì tự suy đoán.
Vì sao quan trọng
- Tuân thủ. Prompt thường chứa dữ liệu cá nhân, thông tin sức khỏe hoặc bí mật kinh doanh. Nội dung không bao giờ được lưu thì không thể rò rỉ từ log hay bản sao lưu.
- Ít bên liên quan hơn. Mỗi hệ thống giữ một bản sao là thêm một nơi phải bảo vệ. Một router hay bên bán lại sẽ thêm các bên vào đường đi của dữ liệu.
- Giọng nói và hình ảnh. Tin nhắn thoại và tài liệu scan thuộc nhóm đầu vào nhạy cảm nhất. ZDR cũng nên bao gồm âm thanh và bản chép lời.
ZDR bảo vệ những gì xảy ra sau khi request của bạn đến nơi. Bạn vẫn cần bảo vệ API key, khóa key vào các IP đã biết và che bớt những gì model không cần.
Trên BroadNet Inference
Tài liệu của BroadNet cho biết ZDR được “built into how we serve requests, not only stated in policy.” (Bản dịch: tích hợp sẵn vào cách chúng tôi phục vụ request, không chỉ được ghi trong chính sách). BroadNet Inference không lưu giữ prompt, hình ảnh, âm thanh, câu trả lời hay bản chép lời của bất kỳ request nào. Họ giữ các bản ghi lưu lượng và mức sử dụng không chứa nội dung, như thời gian xử lý, số token và chi phí, trong thời gian mà nghĩa vụ về thanh toán, thuế, bảo mật và pháp lý yêu cầu. Một quy trình kiểm tra lưu giữ tự động chạy mỗi giờ.
Theo tuyên bố quyền riêng tư của BroadNet, các model do họ host chạy trên phần cứng BroadNet sở hữu hoặc thuê tại Hoa Kỳ, có năng lực của đối tác làm dự phòng; các model do đối tác phục vụ chạy theo điều khoản không lưu giữ dữ liệu với các đối tác inference tại Hoa Kỳ. Key có thể được khóa vào máy chủ của bạn bằng danh sách IP cho phép.
Danh sách đầy đủ những gì được và không được lưu có trên trang không lưu giữ dữ liệu. Để so sánh các nhà cung cấp, hãy dùng checklist ZDR 10 câu hỏi.