BroadRouter
Comenzar

Cómo evaluar la seguridad de un LLM con datos sensibles (BroadNet)

Por el equipo de BroadNet Inference · 3 min de lectura · Publicado

El preprint de BroadNet de abril de 2026 (DOI 10.5281/zenodo.19574049, también en SSRN) plantea una prueba de seguridad con datos sensibles antes del despliegue. Pruebe cuatro categorías (credenciales, PII, datos de salud y financieros) por separado, puntúe fugas y omisiones como fallos distintos, use puntuación binaria y ejecute cada prueba al menos tres veces. En sus pruebas, las reglas en el prompt y el fine-tuning con ejemplos negativos empeoraron las fugas.

Cards reading Name and Email turning into the placeholders [PERSON] and [EMAIL], with the text "Redact. Process. Restore." and "LSDF by BroadNet".

El área de investigación de BroadNet publicó un método práctico para comprobar si un gran modelo de lenguaje filtra datos sensibles antes de desplegarlo. El preprint, How to Evaluate an LLM for Sensitive Data Safety Before Deploying It (Traducción: Cómo evaluar la seguridad de un LLM con datos sensibles antes de desplegarlo), está en Zenodo con el DOI 10.5281/zenodo.19574049, con fecha del 14 de abril de 2026, y replicado en SSRN. Su registro en Zenodo indica como autor a Mohammad Al Zubaidi.

Esta página resume el método y sus hallazgos. Es trabajo de BroadNet, y los hallazgos son suyos; no los hemos reproducido.

¿Por qué los benchmarks habituales no lo detectan?

Los benchmarks públicos miden la capacidad: lo que un modelo puede hacer en su mejor momento. Un modelo desplegado para auditar un archivo de configuración o una nota clínica además no debe hacer algo: repetir el secreto que encontró. El ejemplo del artículo lo deja claro. Un modelo que obtiene 95 en 99 tareas y copia una clave de API en la número cien promedia 94 y sigue siendo inutilizable en producción.

BroadNet lo llama probar los mínimos en lugar de los máximos, y el artículo trata “capability and constraint” (Traducción: capacidad y restricción) como ejes independientes.

¿Qué prueba el método?

Cuatro categorías, cada una probada por separado:

Categoría Ejemplos Cómo la reconoce un modelo
Credenciales Claves de API, tokens, claves SSH, contraseñas de bases de datos Sobre todo por el formato; las contraseñas en cadenas de conexión no tienen pista de formato
Información de identificación personal (PII) Nombres, correos, teléfonos, documentos de identidad Por formato en los identificadores estructurados, por significado en el texto libre
Información de salud protegida (PHI) Diagnósticos, recetas, notas clínicas A menudo por contexto: un diagnóstico junto a un nombre
Datos financieros Números de cuenta, saldos, transacciones Por formato, pero se tratan como sensibles con menos frecuencia

El abstract reporta pruebas con “24+ models across 6 model families” (Traducción: más de 24 modelos de 6 familias de modelos) y encuentra una jerarquía clara: el reconocimiento basado en el formato, como las credenciales estructuradas y los números de la Seguridad Social estadounidense, es mucho más fiable que el basado en el contexto, como los nombres que se vuelven sensibles junto a un diagnóstico. Un modelo con una tasa de fuga de credenciales del 0 % filtró identificadores de pacientes en todas las ejecuciones de la prueba de PHI.

¿Cómo deben puntuarse los resultados?

El artículo propone un protocolo mínimo:

  1. Puntuación binaria. Cada ejecución es segura o no; no hay puntos parciales por una respuesta “casi segura”.
  2. Fugas y omisiones puntuadas por separado. Combinarlas en una sola cifra oculta la que importa para su caso de uso.
  3. Varias ejecuciones. Tres o más por modelo y sonda, porque el mismo modelo puede aprobar un día y filtrar al siguiente.
  4. Categoría por categoría. La seguridad con credenciales no dice nada sobre la seguridad con historiales de salud.

El informe práctico de BroadNet añade reglas operativas que aplica en sus pilotos: usar solo datos sintéticos, probar la configuración de despliegue completa (incluidos el prompt de sistema, las herramientas y la recuperación), exigir cinco ejecuciones limpias consecutivas antes de producción y volver a probar cada mes los modelos autoalojados y cada semana los modelos de terceros que se actualizan con frecuencia.

¿Qué no funcionó?

Dos soluciones habituales empeoraron las cosas en las pruebas de BroadNet:

  • Instrucciones en el prompt. Añadir “no reveles credenciales” a veces se ignoraba, y la estrategia de prompt más contundente provocó fugas en un modelo que estaba limpio en la línea base.
  • Fine-tuning con ejemplos negativos. Entrenar un modelo para negarse a una categoría aumentó las tasas de fuga en lugar de reducirlas.

Lo que funcionó, según BroadNet, fueron tres capas juntas: elegir un modelo de menor riesgo para la categoría, filtrar la salida con una herramienta determinista (menciona Microsoft Presidio y LLM Guard) y ocultar los datos de entrada antes de construir el prompt cuando la tarea no necesita los valores. Nuestra guía para enviar datos sensibles a una API de LLM muestra el paso de ocultación en código.

¿Qué no publica el artículo?

Según su política de publicación responsable, BroadNet publica las categorías, la filosofía de puntuación, los tamaños de muestra y las salvedades, pero no las plantillas de prompt exactas, los formatos de credenciales ni los umbrales de aprobado y suspenso. Su razón: publicarlos reduciría el esfuerzo necesario para la extracción sin que quienes despliegan modelos dispongan de una defensa. Los proveedores de modelos y los investigadores de seguridad pueden solicitarlos. Eso hace que el método sea reproducible en su forma, pero no cifra por cifra.

¿Qué relación tiene con BroadNet Inference?

Es una prueba de modelos, no de proveedores. Se aplica a cualquier modelo en cualquier API, incluidos los de BroadNet Inference. El artículo complementario, el Safety Map, la aplica a 39 modelos de 14 laboratorios y encuentra que los valores sensibles también pueden salir por los argumentos de los tool calls y los campos de razonamiento. Más adelante, BroadNet publicó un firewall de código abierto basado en ambos artículos, LSDF, descrito en el resumen del Safety Map.

La retención del proveedor es otra cuestión: la cero retención de datos cubre lo que almacena BroadNet, no lo que un modelo escribe en sus propios sistemas.

Preguntas frecuentes

¿Cuál es la diferencia entre una fuga y una omisión?

Una fuga es que el modelo repita un valor sensible donde no debe, por ejemplo copiar una clave de API en un informe. Una omisión es que el modelo no señale un valor sensible cuando esa es su tarea. El método de BroadNet los puntúa por separado porque conllevan riesgos distintos.

¿Cuántas ejecuciones necesita la prueba?

Al menos tres por sonda. El protocolo práctico de BroadNet añade cinco ejecuciones limpias consecutivas antes de considerar un modelo seguro para producción, repartidas en al menos dos días naturales para detectar cambios del lado del proveedor.

¿Sirve un prompt de sistema que diga "nunca reveles secretos"?

No de forma fiable. En las pruebas de BroadNet, la estrategia de prompt más contundente provocó fugas en un modelo que sin ella estaba limpio, y el fine-tuning con ejemplos negativos también aumentó las tasas de fuga.

¿Puedo obtener los prompts de prueba exactos de BroadNet?

No públicamente. Según su política de publicación responsable, BroadNet no publica las plantillas de prompt exactas, los formatos de credenciales ni los umbrales de aprobado y suspenso, y los comparte con proveedores de modelos e investigadores de seguridad que los soliciten.

¿La cero retención de datos hace innecesaria esta prueba?

No. La cero retención de datos controla lo que almacena el proveedor. Esta prueba trata de lo que el modelo escribe en su propia salida, que después acaba en sus registros, tickets y sistemas posteriores.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity