Agentes de programação enviam repositórios inteiros. Bots de atendimento enviam mensagens de clientes. A ZDR responde à pergunta seguinte: o que acontece com esse conteúdo depois que a resposta volta?
Como funciona
Com ZDR, o provedor mantém o conteúdo de prompts e saídas apenas em memória enquanto atende a requisição. Depois, ele não é gravado em:
- logs de requisição ou de depuração;
- armazenamentos de monitoramento de abuso;
- caches ou filas persistentes;
- datasets de treinamento ou de avaliação.
Os registros que normalmente continuam sendo guardados, sem conteúdo, incluem IDs de requisição, timestamps, códigos de status, modelo, contagens de tokens, custo e endereços IP dos clientes.
ZDR não é o padrão em todo lugar. A API da OpenAI, por exemplo, guarda por padrão logs de monitoramento de abuso por até 30 dias e oferece ZDR a clientes aprovados. Ela também diz que os dados da API não são usados para treinamento, a menos que você opte por isso. Leia os termos de cada provedor em vez de presumir.
Por que importa
- Conformidade. Os prompts costumam levar dados pessoais, informações de saúde ou segredos comerciais. Um conteúdo que nunca é guardado não pode vazar de logs ou backups.
- Menos partes envolvidas. Cada sistema que guarda uma cópia é mais um lugar para proteger. Um roteador ou revendedor acrescenta partes ao caminho dos dados.
- Voz e imagens. Áudios e documentos digitalizados estão entre as entradas mais sensíveis. A ZDR também deve cobrir áudio e transcrições.
A ZDR protege o que acontece depois que a sua requisição chega. Você ainda precisa proteger as suas chaves de API, restringi-las a IPs conhecidos e remover o que o modelo não precisa.
Na BroadNet Inference
A documentação da BroadNet diz que a ZDR é “built into how we serve requests, not only stated in policy” (tradução: incorporada à forma como atendemos as requisições, não apenas declarada na política). A BroadNet Inference não retém prompts, imagens, áudio, respostas nem transcrições de nenhuma requisição. Ela guarda registros de tráfego e de uso sem conteúdo, como tempos, contagens de tokens e custo, pelo tempo que as obrigações de cobrança, fiscais, de segurança e legais exigirem. Uma auditoria automática de retenção roda a cada hora.
Segundo a declaração de privacidade da BroadNet, os modelos que ela hospeda rodam em hardware próprio ou alugado pela BroadNet nos Estados Unidos, com capacidade de parceiros como reserva; modelos atendidos por parceiros rodam sob termos de retenção zero de dados com parceiros de inferência nos EUA. As chaves podem ser restritas aos seus servidores com uma lista de IPs permitidos.
A lista completa do que é e do que não é guardado está na página de retenção zero de dados. Para comparar provedores, use o checklist de ZDR em 10 perguntas.