BroadRouter
Começar

Como testar a segurança de um LLM com dados sensíveis: método BroadNet

Pela equipe da BroadNet Inference · 3 min de leitura · Publicado em

O preprint da BroadNet de abril de 2026 (DOI 10.5281/zenodo.19574049, também no SSRN) define um teste de segurança com dados sensíveis antes do deploy. Teste quatro categorias (credenciais, PII, dados de saúde e financeiros) separadamente, conte vazamentos e não detecções como falhas diferentes, use pontuação binária e rode cada teste pelo menos três vezes. Nos testes dela, regras no prompt e fine-tuning com exemplos negativos pioraram os vazamentos.

Cards reading Name and Email turning into the placeholders [PERSON] and [EMAIL], with the text "Redact. Process. Restore." and "LSDF by BroadNet".

O braço de pesquisa da BroadNet publicou um método prático para testar se um grande modelo de linguagem vaza dados sensíveis antes do deploy. O preprint, How to Evaluate an LLM for Sensitive Data Safety Before Deploying It, está no Zenodo sob o DOI 10.5281/zenodo.19574049, com data de 14 de abril de 2026, e espelhado no SSRN. O registro no Zenodo cita Mohammad Al Zubaidi como autor.

Esta página resume o método e os resultados. O trabalho é da BroadNet, e os resultados são dela; não os reproduzimos.

Por que os benchmarks comuns não pegam isso?

Benchmarks públicos medem capacidade: o que um modelo consegue fazer no seu melhor. Um modelo colocado para auditar um arquivo de configuração ou uma nota clínica também precisa não fazer uma coisa: repetir o segredo que encontrou. O exemplo do artigo deixa isso claro. Um modelo que tira 95 em 99 tarefas e repete uma chave de API na centésima fica com média 94 e continua inutilizável em produção.

A BroadNet chama isso de testar pisos em vez de tetos, e o artigo trata “capability and constraint” (capacidade e restrição) como eixos independentes.

O que o método testa?

Quatro categorias, cada uma testada separadamente:

Categoria Exemplos Como um modelo a reconhece
Credenciais Chaves de API, tokens, chaves SSH, senhas de banco de dados Principalmente pelo formato; senhas em strings de conexão não têm pista de formato
Informações pessoais identificáveis (PII) Nomes, e-mails, telefones, documentos de identidade Pelo formato nos identificadores estruturados, pelo significado no texto livre
Informações de saúde protegidas (PHI) Diagnósticos, prescrições, notas clínicas Muitas vezes pelo contexto: um diagnóstico ao lado de um nome
Dados financeiros Números de conta, saldos, transações Pelo formato, mas tratados como sensíveis com menos frequência

O resumo relata testes com “24+ models across 6 model families” (mais de 24 modelos de 6 famílias) e encontra uma hierarquia clara: o reconhecimento baseado em formato, como credenciais estruturadas e Social Security numbers, é muito mais confiável do que o baseado em contexto, como nomes que se tornam sensíveis ao lado de um diagnóstico. Um modelo com 0% de vazamento de credenciais vazou identificadores de pacientes em todas as execuções do teste de PHI.

Como pontuar os resultados?

O artigo propõe um protocolo mínimo:

  1. Pontuação binária. Cada execução é segura ou não; nada de nota parcial para uma resposta “quase segura”.
  2. Vazamento e não detecção pontuados separadamente. Juntar os dois num só número esconde justamente o que importa para o seu caso de uso.
  3. Várias execuções. Três ou mais por modelo e sonda, porque o mesmo modelo pode passar num dia e vazar no outro.
  4. Categoria por categoria. Segurança com credenciais não diz nada sobre segurança com prontuários médicos.

O relato prático da BroadNet acrescenta regras de operação que ela usa em pilotos: usar só dados sintéticos, testar a configuração completa de deploy (system prompt, ferramentas e recuperação incluídos), exigir cinco execuções limpas seguidas antes da produção e testar de novo todo mês para modelos self-hosted e toda semana para modelos de terceiros que mudam com frequência.

O que não funcionou?

Duas correções comuns pioraram as coisas nos testes da BroadNet:

  • Instruções no prompt. Acrescentar “não revele credenciais” às vezes foi ignorado, e a estratégia de prompt mais enfática causou vazamentos num modelo que era limpo na linha de base.
  • Fine-tuning com exemplos negativos. Treinar um modelo para recusar uma categoria aumentou as taxas de vazamento em vez de reduzi-las.

O que se sustentou, segundo a BroadNet, foram três camadas juntas: escolher um modelo de menor risco para a categoria, filtrar a saída com uma ferramenta determinística (ela cita o Microsoft Presidio e o LLM Guard) e mascarar a entrada antes de montar o prompt quando a tarefa não precisa dos valores. O nosso guia para enviar dados sensíveis a uma API de LLM mostra a etapa de mascaramento em código.

O que o artigo não publica?

Pela política de publicação responsável, a BroadNet publica categorias, filosofia de pontuação, tamanhos de amostra e ressalvas, mas não os templates exatos de prompt, os formatos de credenciais nem os limiares de aprovação e reprovação. O motivo: publicá-los reduziria o esforço necessário para a extração sem oferecer nenhuma defesa a quem faz o deploy. Provedores de modelos e pesquisadores de segurança podem pedi-los. Isso torna o método reproduzível na forma, mas não número a número.

Qual a relação com a BroadNet Inference?

É um teste de modelos, não de provedor. Vale para qualquer modelo em qualquer API, inclusive os da BroadNet Inference. O artigo companheiro, o Safety Map, aplica o método a 39 modelos de 14 laboratórios e constata que valores sensíveis também podem sair por argumentos de tool call e campos de raciocínio. Mais tarde, a BroadNet liberou um firewall open source baseado nos dois artigos, o LSDF, descrito no resumo do Safety Map.

A retenção pelo provedor é uma questão à parte: a retenção zero de dados trata do que a BroadNet armazena, não do que um modelo escreve nos seus próprios sistemas.

Perguntas frequentes

Qual a diferença entre vazamento e não detecção?

Vazamento (leak) é o modelo repetir um valor sensível onde não devia, por exemplo copiando uma chave de API num relatório. Não detecção (miss) é o modelo deixar de sinalizar um valor sensível quando essa é justamente a tarefa dele. O método da BroadNet pontua os dois separadamente porque os riscos são diferentes.

Quantas execuções o teste precisa?

Pelo menos três por sonda. O protocolo prático da BroadNet acrescenta cinco execuções limpas seguidas antes de considerar um modelo seguro para produção, distribuídas em pelo menos dois dias corridos para pegar mudanças do lado do provedor.

Um system prompt dizendo "nunca revele segredos" ajuda?

Não de forma confiável. Nos testes da BroadNet, a estratégia de prompt mais enfática causou vazamentos num modelo que era limpo sem ela, e o fine-tuning com exemplos negativos também aumentou as taxas de vazamento.

Posso obter os prompts de teste exatos da BroadNet?

Não publicamente. Pela política de publicação responsável, a BroadNet não divulga os templates exatos de prompt, os formatos de credenciais nem os limiares de aprovação e reprovação, e os compartilha com provedores de modelos e pesquisadores de segurança mediante pedido.

Retenção zero de dados torna este teste desnecessário?

Não. A retenção zero de dados controla o que o provedor armazena. Este teste trata do que o modelo escreve na própria saída, que depois vai parar nos seus logs, tickets e sistemas a jusante.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity