O Safety Map é o levantamento da BroadNet sobre como os grandes modelos de linguagem lidam com dados sensíveis. O preprint, The Safety Map: What Does and Doesn’t Transfer in LLM Sensitive-Data Handling, foi publicado no Zenodo em 22 de abril de 2026 com o DOI 10.5281/zenodo.19688433, tendo Mohammad Al Zubaidi como autor. Ele acompanha o método de avaliação de dados sensíveis da BroadNet.
O que segue é o nosso resumo do abstract e da página de pesquisa da BroadNet. Os vereditos são da BroadNet.
O que o levantamento cobriu?
| Dimensão | Cobertura |
|---|---|
| Modelos | 39, de 14 laboratórios independentes |
| Cenários de sonda | 7 |
| Categorias | Credenciais, PII, informações de saúde protegidas (PHI), números de contas financeiras, varredura de prevenção contra perda de dados (DLP) |
| Evidências | Mais de 135 combinações modelo-sonda classificadas, a partir de cerca de 1.300 avaliações com várias execuções |
O catálogo da BroadNet diz que ela passou cerca de 90 modelos remotos e via API, que nunca rodou no próprio hardware, pelos seus bancos de testes de segurança, roteamento e árabe, e que esses resultados alimentam este mapa.
Quais são os principais resultados?
Segurança é uma superfície, não uma nota única. Ela varia em três eixos que se somam:
- Arquitetura. O artigo relata um piso de capacidade de cerca de 24B de parâmetros ativos para credenciais, em diferentes designs de roteamento, com os modelos mixture of experts de poucos parâmetros ativos como caso principal.
- Geração. A qualidade do alinhamento desloca a fronteira dentro de uma mesma família de modelos.
- Investimento do laboratório em alinhamento. O rótulo de modelo carro-chefe de um laboratório conhecido não é garantia.
Nenhum dos três prevê a segurança sozinho; eles se combinam.
A segurança não se transfere entre categorias. Lidar bem com credenciais e Social Security numbers não se refletiu, no mesmo modelo, em nomes, prontuários médicos ou números de conta.
Os canais de saída vazam de forma independente. É o resultado com mais peso prático:
- De 73 execuções que preencheram
tool_calls.arguments, 20 enviaram valores sensíveis pela tool call. Entre os modelos por trás dessas execuções estava o Kimi K2.6 da Moonshot, testado no dia do lançamento, um modelo que o artigo classifica como seguro em várias execuções em todo o resto, para credenciais, PII, dados financeiros e DLP. - De 43 execuções em que o provedor preencheu
reasoning_contentcom pelo menos 20 caracteres, 29 vazaram valores sensíveis no raciocínio enquanto a resposta do chat era classificada como segura, ausente ou truncada.
Poda pode quebrar a segurança. Duas versões podadas independentes da linha Llama da Meta, feitas pela NVIDIA com neural architecture search, quebraram a segurança com dados de saúde por canais de saída diferentes.
O artigo termina com um ranking de cinco níveis. O grupo do topo, uniformemente seguro em todas as categorias testadas, reúne Claude Opus 4.7, GPT-5.4 e GPT-5.4-mini, Gemini 3 Flash e Gemini 3.1 Pro. O resumo diz que os carros-chefes do xAI Grok e do Meta Llama não entram nesse grupo.
O que mudar na sua stack?
- Filtre todos os canais. Uma checagem na resposta visível não pega argumentos de tool call nem campos de raciocínio. Se você usa tool calling ou um modelo de raciocínio, inspecione os dois.
- Teste por categoria. Um resultado limpo em credenciais não diz nada sobre dados de saúde ou de salários.
- Teste de novo a cada atualização do modelo. O resultado do Kimi K2.6 veio de um modelo no dia do lançamento.
- Mascare antes, quando puder. Um modelo não vaza o que nunca viu. O nosso guia de dados sensíveis mostra o mascaramento com placeholders em Python.
O que é o LSDF?
O LSDF, LLM Sensitive Data Firewall, é o controle que a BroadNet construiu a partir desses dois artigos e liberou como open source sob Apache-2.0 em github.com/brntech/lsdf. É um proxy reverso para a API de chat completions compatível com a OpenAI: você aponta a base URL do seu cliente para ele, e ele encaminha para o seu servidor de modelos ou provedor. Segundo a BroadNet, ele inspeciona requisições, respostas, chunks em streaming, argumentos de tool call em streaming, contexto recuperado e campos de raciocínio, e higieniza traces e logs separadamente.
A avaliação da BroadNet de maio de 2026, nos próprios corpora, informa este recall:
| Pilha de detectores | Replay de credenciais | PHI clínico | PII amplo em inglês |
|---|---|---|---|
| Só regex | 0,944 | 0,019 | 0,208 |
| Microsoft Presidio | 0,194 | 0,056 | 0,326 |
| Detectores de PII amplo do LSDF | 1,000 | 0,944 | 0,685 |
São números de um fornecedor sobre a própria ferramenta, em corpora escolhidos por ele. Servem como ponto de partida, e o repositório inclui o replay para você conferir. O LSDF funciona na frente de qualquer modelo, inclusive os que a BroadNet não hospeda.
Quais são os limites?
O artigo é um preprint, sem revisão por pares. Pela política de publicação responsável da BroadNet, prompts exatos, formatos de credenciais e limiares ficam fora da versão pública e são compartilhados com provedores de modelos e pesquisadores mediante pedido. As versões dos modelos mudam rápido, então um veredito de abril de 2026 é motivo para testar, não um substituto para o teste.
