BroadRouter
Começar

API de LLM com retenção zero de dados: checklist de 10 perguntas

Pela equipe da BroadNet Inference · 5 min de leitura · Publicado em · Atualizado em

Uma API de LLM com retenção zero de dados processa seus prompts e saídas para atender a requisição e depois não os guarda, nem em logs, caches ou conjuntos de treinamento. Pergunte o que fica guardado (em geral, registros de uso sem conteúdo), por quanto tempo, quem opera as GPUs e como a retenção é verificada. A BroadNet Inference não guarda prompts, imagens, áudio nem respostas e verifica a cada hora a configuração do gateway.

A glass enclosure with an input entering and a response leaving, labelled "Private inference".

Agentes de código enviam repositórios inteiros. Bots de atendimento enviam mensagens de clientes. Pipelines de transcrição enviam ligações telefônicas. Antes que qualquer coisa disso vá para uma API de LLM, alguém vai perguntar: o que acontece com isso depois que a resposta volta? “Retenção zero de dados” (ZDR, de zero data retention) é a resposta que todo mundo quer ouvir, mas a expressão cobre práticas muito diferentes.

O que a retenção zero de dados deveria cobrir?

Conteúdo que não deveria sobreviver à requisição:

  • Prompts, prompts de sistema e resultados de ferramentas
  • Imagens e áudio
  • Saídas do modelo e transcrições
  • Corpos completos de requisição e resposta, inclusive em logs de depuração
  • URLs brutas, query strings e valores de autenticação

Registros que normalmente são guardados, e que devem ser livres de conteúdo:

  • IDs de requisição, tempos, status HTTP, contagens de bytes
  • IDs de conta e de chave, modelo, contagens de tokens, custo
  • Endereços IP dos clientes, por segurança

Se um provedor não sabe dizer em qual lista está cada item, trate isso como um “não”.

Treinamento, retenção e ZDR são a mesma promessa?

Promessa O que significa O que não significa
“Não usado para treinamento” Seus dados não vão treinar modelos futuros Eles ainda podem ficar guardados por um tempo
“Retido por N dias” O conteúdo é guardado e depois apagado Nesse meio-tempo, pessoas ou sistemas podem acessá-lo
“Retenção zero de dados” O conteúdo não é guardado depois da requisição Os metadados continuam guardados

Os grandes provedores mostram por que a diferença importa. Para um comparativo lado a lado da redação oficial de vários provedores, veja retenção de dados em APIs de LLM comparada. A página de controles de dados da OpenAI diz que, desde 1º de março de 2023, dados da API não são usados para treinar seus modelos por padrão. A mesma página diz que os logs de monitoramento de abuso “are retained for up to 30 days” (tradução: são retidos por até 30 dias), que os controles de ZDR “are subject to prior approval by OpenAI” (tradução: estão sujeitos a aprovação prévia da OpenAI) e que endpoints que guardam estado, como arquivos, assistants e batches, não são elegíveis. Um provedor pode ser honesto nos três pontos e ainda assim guardar seu conteúdo por um mês, por padrão.

Onde as promessas de ZDR costumam ter brechas?

  • Elegibilidade. A ZDR pode exigir aprovação, um plano específico ou um contrato, e fica desligada até ser ativada.
  • Escopo de endpoints. O chat pode se qualificar enquanto armazenamento de arquivos, batches ou fine-tuning não.
  • Exceções de segurança. O FAQ do OpenRouter, por exemplo, define ZDR como “no routine storage of prompts or responses after processing, apart from a CSAM exception” (tradução: nenhum armazenamento rotineiro de prompts ou respostas após o processamento, salvo uma exceção para CSAM).
  • Camadas acima do modelo. Um gateway, roteador ou ferramenta de observabilidade no meio do caminho pode registrar prompts mesmo que o provedor do modelo não registre. Pergunte a cada camada.
  • Seus próprios sistemas. Os logs do seu app, os rastreadores de erro e o analytics muitas vezes guardam mais conteúdo do que o provedor.

Que 10 perguntas fazer a um provedor?

  1. Prompts e saídas são guardados depois da requisição? Em algum lugar? Inclua logs, caches, filas e backups.
  2. Algum conteúdo é usado para treinamento ou avaliação? Por vocês ou por um fornecedor de modelos?
  3. O que vocês guardam, campo a campo? Peça a lista.
  4. Por quanto tempo os registros de uso são guardados, e por quê?
  5. Quem opera as GPUs? O seu provedor, uma nuvem ou o revendedor de um revendedor?
  6. Quais subprocessadores podem ver o conteúdo das requisições?
  7. Como a retenção é verificada? Por uma política ou por uma checagem automática?
  8. As chaves podem ser presas aos meus endereços IP? Uma chave vazada também é um caminho para os dados.
  9. Onde fica o hardware, e dá para escolher a região?
  10. O que acontece num chamado de suporte? A equipe consegue ver o conteúdo quando você reporta um bug?

Peça as respostas por escrito e anote qual documento as torna vinculantes: os termos, uma declaração de privacidade ou um contrato assinado.

Como a BroadNet Inference responde?

Pergunta BroadNet Inference
Prompts, imagens, áudio, respostas guardados Não; processados para a requisição e não retidos
Treinamento com seus dados Não; a declaração de privacidade descarta treinamento, fine-tuning e avaliação com dados de inferência
O que é guardado Registros de tráfego, uso e conta sem conteúdo (lista completa)
Por quanto tempo os registros ficam guardados Pelo tempo que exigirem as obrigações de cobrança, fiscais, de segurança e legais
Verificação Verificação a cada hora da configuração do gateway para operar sem conteúdo
Hardware A declaração de privacidade diz que os modelos hospedados rodam em “BroadNet-owned or leased hardware in the United States, with partner capacity as backup” (tradução: hardware próprio ou alugado pela BroadNet nos Estados Unidos, com capacidade de parceiros como reserva); os modelos servidos por parceiros rodam sob termos de ZDR com parceiros de inferência nos EUA
Residência de dados Combine os locais de processamento com a BroadNet antes de enviar dados com exigência de residência (checklist de GDPR)
Proteção de chaves Listas de IPs permitidos, até 32 entradas; mudanças e revogações valem para novas requisições em até cinco segundos
Chaves armazenadas Só hashes SHA-256; a chave original é mostrada uma vez

A documentação da BroadNet descreve a retenção zero de dados como “built into how we serve requests, not only stated in policy” (tradução: embutida na forma como atendemos as requisições, não só declarada numa política). Ela vale para toda requisição, sem nenhuma configuração para ativar. Os detalhes estão na declaração de privacidade.

A ZDR cobre voz e áudio em árabe?

A voz é a entrada mais sensível que a maioria dos produtos processa: uma mensagem de voz pode conter um nome, um número de telefone e um dado de saúde em dez segundos. Se você transcreve ligações ou áudios do WhatsApp, faça as mesmas dez perguntas sobre áudio e transcrições. Veja o guia de compra de API de fala para texto em árabe.

Como verificar as respostas de um provedor?

  1. Leia a declaração de privacidade e a referência da API, não só a página de marketing. Procure uma lista campo a campo.
  2. Confira o escopo. Quais modelos, endpoints e planos a promessa cobre?
  3. Veja o que a API retorna. Se um painel mostra seus prompts anteriores, eles estão guardados em algum lugar.
  4. Pergunte sobre o processo de suporte. Quem pode ver o quê quando você abre um chamado?
  5. Registre as respostas no cadastro do fornecedor, com os links e a data da verificação.

O que a ZDR não resolve?

A retenção zero de dados protege o que acontece depois que sua requisição chega ao provedor. Você ainda precisa:

  • Manter as chaves de API nos servidores, nunca em navegadores ou apps mobile
  • Prender as chaves aos seus IPs de saída com uma lista de IPs permitidos
  • Mascarar o que o modelo não precisa ver, como números de cartão (como mascarar antes de enviar)
  • Registrar os IDs de requisição do seu lado, para depurar sem que o provedor guarde conteúdo; o guia de erros mostra o que enviar ao suporte

Ao migrar um app de um provedor para outro, inclua essas verificações no checklist de migração. Se você passa por um gateway, faça a ele as mesmas perguntas; a comparação com o OpenRouter mostra como um roteador lida com a ZDR.

Onde a BroadNet Inference se encaixa

A BroadNet Inference serve para equipes que querem ZDR em toda requisição sem precisar solicitá-la, inclusive nos modelos hospedados por parceiros, que segundo a declaração de privacidade dela rodam sob termos de retenção zero de dados com parceiros de inferência nos EUA. Ela guarda registros sem conteúdo para cobrança e segurança, como todo provedor. Se você precisa que seus dados sejam processados numa região específica, combine os locais de processamento com a BroadNet antes de enviar os dados; o padrão para os modelos próprios e hospedados é os EUA.

Perguntas frequentes

O que significa retenção zero de dados numa API de LLM?

O provedor processa seus prompts, arquivos e saídas para responder à requisição e depois não guarda esse conteúdo, nem em logs, caches, backups ou conjuntos de treinamento. Registros sem conteúdo, como tempos e contagens de tokens, em geral continuam sendo guardados.

Retenção zero de dados significa nenhum log?

Não. Os provedores guardam registros operacionais como tempos, contagens de tokens, custo, códigos de status e endereços IP. Retenção zero de dados significa que esses registros não contêm o conteúdo de prompts nem de saídas.

"Não treinamos com seus dados" é o mesmo que retenção zero de dados?

Não. Um provedor pode prometer não treinar com dados da API e mesmo assim guardá-los por um tempo, por exemplo para monitoramento de abuso. A documentação da OpenAI diz que, por padrão, dados da API não são usados para treinamento e que os logs de monitoramento de abuso são retidos por até 30 dias.

Meus prompts são usados para treinar modelos na BroadNet Inference?

Não. A declaração de privacidade da BroadNet diz que ela não usa dados de inferência "to train, fine-tune or evaluate models" (tradução: para treinar, fazer fine-tuning ou avaliar modelos), e prompts, imagens, áudio, respostas e transcrições não são retidos depois da requisição.

Retenção zero de dados basta para o GDPR?

Ajuda, mas sozinha não resolve. Você ainda precisa de uma base legal, de um registro das operações de tratamento e de um contrato com cada operador. Pergunte ao seu responsável por proteção de dados; a ZDR reduz o que o provedor guarda, não as suas obrigações.

Onde a BroadNet roda seus modelos?

A declaração de privacidade da BroadNet diz que seus modelos próprios e os modelos open-weight que hospeda rodam em hardware próprio ou alugado pela BroadNet nos Estados Unidos, com capacidade de parceiros como reserva. Modelos servidos por parceiros rodam sob termos de retenção zero de dados com parceiros de inferência nos EUA. Fale com a BroadNet para combinar os locais de processamento antes de enviar dados com exigência de residência.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity