El área de investigación de BroadNet publicó un método práctico para comprobar si un gran modelo de lenguaje filtra datos sensibles antes de desplegarlo. El preprint, How to Evaluate an LLM for Sensitive Data Safety Before Deploying It (Traducción: Cómo evaluar la seguridad de un LLM con datos sensibles antes de desplegarlo), está en Zenodo con el DOI 10.5281/zenodo.19574049, con fecha del 14 de abril de 2026, y replicado en SSRN. Su registro en Zenodo indica como autor a Mohammad Al Zubaidi.
Esta página resume el método y sus hallazgos. Es trabajo de BroadNet, y los hallazgos son suyos; no los hemos reproducido.
¿Por qué los benchmarks habituales no lo detectan?
Los benchmarks públicos miden la capacidad: lo que un modelo puede hacer en su mejor momento. Un modelo desplegado para auditar un archivo de configuración o una nota clínica además no debe hacer algo: repetir el secreto que encontró. El ejemplo del artículo lo deja claro. Un modelo que obtiene 95 en 99 tareas y copia una clave de API en la número cien promedia 94 y sigue siendo inutilizable en producción.
BroadNet lo llama probar los mínimos en lugar de los máximos, y el artículo trata “capability and constraint” (Traducción: capacidad y restricción) como ejes independientes.
¿Qué prueba el método?
Cuatro categorías, cada una probada por separado:
| Categoría | Ejemplos | Cómo la reconoce un modelo |
|---|---|---|
| Credenciales | Claves de API, tokens, claves SSH, contraseñas de bases de datos | Sobre todo por el formato; las contraseñas en cadenas de conexión no tienen pista de formato |
| Información de identificación personal (PII) | Nombres, correos, teléfonos, documentos de identidad | Por formato en los identificadores estructurados, por significado en el texto libre |
| Información de salud protegida (PHI) | Diagnósticos, recetas, notas clínicas | A menudo por contexto: un diagnóstico junto a un nombre |
| Datos financieros | Números de cuenta, saldos, transacciones | Por formato, pero se tratan como sensibles con menos frecuencia |
El abstract reporta pruebas con “24+ models across 6 model families” (Traducción: más de 24 modelos de 6 familias de modelos) y encuentra una jerarquía clara: el reconocimiento basado en el formato, como las credenciales estructuradas y los números de la Seguridad Social estadounidense, es mucho más fiable que el basado en el contexto, como los nombres que se vuelven sensibles junto a un diagnóstico. Un modelo con una tasa de fuga de credenciales del 0 % filtró identificadores de pacientes en todas las ejecuciones de la prueba de PHI.
¿Cómo deben puntuarse los resultados?
El artículo propone un protocolo mínimo:
- Puntuación binaria. Cada ejecución es segura o no; no hay puntos parciales por una respuesta “casi segura”.
- Fugas y omisiones puntuadas por separado. Combinarlas en una sola cifra oculta la que importa para su caso de uso.
- Varias ejecuciones. Tres o más por modelo y sonda, porque el mismo modelo puede aprobar un día y filtrar al siguiente.
- Categoría por categoría. La seguridad con credenciales no dice nada sobre la seguridad con historiales de salud.
El informe práctico de BroadNet añade reglas operativas que aplica en sus pilotos: usar solo datos sintéticos, probar la configuración de despliegue completa (incluidos el prompt de sistema, las herramientas y la recuperación), exigir cinco ejecuciones limpias consecutivas antes de producción y volver a probar cada mes los modelos autoalojados y cada semana los modelos de terceros que se actualizan con frecuencia.
¿Qué no funcionó?
Dos soluciones habituales empeoraron las cosas en las pruebas de BroadNet:
- Instrucciones en el prompt. Añadir “no reveles credenciales” a veces se ignoraba, y la estrategia de prompt más contundente provocó fugas en un modelo que estaba limpio en la línea base.
- Fine-tuning con ejemplos negativos. Entrenar un modelo para negarse a una categoría aumentó las tasas de fuga en lugar de reducirlas.
Lo que funcionó, según BroadNet, fueron tres capas juntas: elegir un modelo de menor riesgo para la categoría, filtrar la salida con una herramienta determinista (menciona Microsoft Presidio y LLM Guard) y ocultar los datos de entrada antes de construir el prompt cuando la tarea no necesita los valores. Nuestra guía para enviar datos sensibles a una API de LLM muestra el paso de ocultación en código.
¿Qué no publica el artículo?
Según su política de publicación responsable, BroadNet publica las categorías, la filosofía de puntuación, los tamaños de muestra y las salvedades, pero no las plantillas de prompt exactas, los formatos de credenciales ni los umbrales de aprobado y suspenso. Su razón: publicarlos reduciría el esfuerzo necesario para la extracción sin que quienes despliegan modelos dispongan de una defensa. Los proveedores de modelos y los investigadores de seguridad pueden solicitarlos. Eso hace que el método sea reproducible en su forma, pero no cifra por cifra.
¿Qué relación tiene con BroadNet Inference?
Es una prueba de modelos, no de proveedores. Se aplica a cualquier modelo en cualquier API, incluidos los de BroadNet Inference. El artículo complementario, el Safety Map, la aplica a 39 modelos de 14 laboratorios y encuentra que los valores sensibles también pueden salir por los argumentos de los tool calls y los campos de razonamiento. Más adelante, BroadNet publicó un firewall de código abierto basado en ambos artículos, LSDF, descrito en el resumen del Safety Map.
La retención del proveedor es otra cuestión: la cero retención de datos cubre lo que almacena BroadNet, no lo que un modelo escribe en sus propios sistemas.

![Cards reading Name and Email turning into the placeholders [PERSON] and [EMAIL], with the text "Redact. Process. Restore." and "LSDF by BroadNet".](/_astro/lsdf-redact.DvY_-MHj_ZO6b3q.webp)