El Safety Map es el estudio de BroadNet sobre cómo manejan los datos sensibles los grandes modelos de lenguaje. El preprint, The Safety Map: What Does and Doesn’t Transfer in LLM Sensitive-Data Handling (Traducción: El mapa de seguridad: qué se transfiere y qué no en el manejo de datos sensibles por los LLM), se publicó en Zenodo el 22 de abril de 2026 con el DOI 10.5281/zenodo.19688433, y su autor es Mohammad Al Zubaidi. Es el complemento del método de evaluación de datos sensibles de BroadNet.
Lo que sigue es nuestro resumen del abstract y de la página de investigación de BroadNet. Los veredictos son de BroadNet.
¿Qué abarcó el estudio?
| Dimensión | Cobertura |
|---|---|
| Modelos | 39, de 14 laboratorios independientes |
| Escenarios de sondeo | 7 |
| Categorías | Credenciales, PII, información de salud protegida (PHI), números de cuentas financieras, escaneo de prevención de pérdida de datos (DLP) |
| Evidencia | Más de 135 combinaciones clasificadas de modelo y sonda, a partir de unas 1,300 evaluaciones de varias ejecuciones |
El catálogo de BroadNet indica que ha pasado unos 90 modelos remotos y de API, que nunca ejecutó en su propio hardware, por sus bancos de pruebas de seguridad, enrutamiento y árabe, y que esos hallazgos alimentan este mapa.
¿Cuáles son los principales hallazgos?
La seguridad es una superficie, no una puntuación única. Varía a lo largo de tres ejes que se combinan:
- Arquitectura. El artículo reporta un umbral de capacidad de unos 24B parámetros activos en credenciales, en distintos diseños de enrutamiento, con los modelos mixture-of-experts de pocos parámetros activos como caso principal.
- Generación. La calidad de la alineación desplaza el límite dentro de una misma familia de modelos.
- La inversión del laboratorio en alineación. La etiqueta de modelo insignia de un laboratorio conocido no es una garantía.
Ninguno de los tres predice la seguridad por sí solo; se combinan.
La seguridad no se transfiere entre categorías. Manejar bien las credenciales y los números de la Seguridad Social no se trasladó a los nombres, los historiales de salud ni los números de cuenta en el mismo modelo.
Los canales de salida filtran de forma independiente. Este es el hallazgo con más peso práctico:
- De 73 ejecuciones que rellenaron
tool_calls.arguments, 20 enviaron valores sensibles a través del tool call. Entre los modelos detrás de esas ejecuciones estaba Kimi K2.6 de Moonshot, probado el día de su lanzamiento, un modelo que el artículo califica por lo demás como seguro en varias ejecuciones en credenciales, PII, datos financieros y DLP. - De 43 ejecuciones en las que el proveedor rellenó
reasoning_contentcon al menos 20 caracteres, 29 filtraron valores sensibles en el razonamiento mientras la respuesta del chat se calificaba como segura, omitida o truncada.
La poda puede romper la seguridad. Dos versiones podadas independientes de la línea Llama de Meta, creadas por NVIDIA con búsqueda de arquitectura neuronal, rompieron la seguridad de los datos de salud a través de distintos canales de salida.
El artículo termina con una clasificación en cinco niveles. Su grupo superior, uniformemente seguro en todas las categorías probadas, lo forman Claude Opus 4.7, GPT-5.4 y GPT-5.4-mini, Gemini 3 Flash y Gemini 3.1 Pro. El abstract indica que los modelos insignia de xAI Grok y Meta Llama no entran en ese grupo.
¿Qué debería cambiar en su propio stack?
- Filtre todos los canales. Revisar la respuesta visible no detecta los argumentos de los tool calls ni los campos de razonamiento. Si usa tool calling o un modelo de razonamiento, inspeccione ambos.
- Pruebe por categoría. Un resultado limpio en credenciales no dice nada sobre datos de salud o salariales.
- Vuelva a probar cuando se actualicen los modelos. El resultado de Kimi K2.6 vino de un modelo el día de su lanzamiento.
- Oculte primero los datos cuando pueda. Un modelo no puede filtrar lo que nunca vio. Nuestra guía de datos sensibles muestra la sustitución por marcadores en Python.
¿Qué es LSDF?
LSDF, el LLM Sensitive Data Firewall, es el control que BroadNet construyó a partir de estos dos artículos y publicó como código abierto bajo Apache-2.0 en github.com/brntech/lsdf. Es un proxy inverso para la API de chat completions compatible con OpenAI: usted apunta la base URL de su cliente hacia él, y él reenvía al servidor del modelo o a su proveedor. BroadNet afirma que inspecciona solicitudes, respuestas, fragmentos en streaming, argumentos de tool calls en streaming, contexto recuperado y campos de razonamiento, y que sanea por separado las trazas y los registros.
La evaluación de BroadNet de mayo de 2026 sobre sus propios corpus reporta este recall:
| Pila de detectores | Repetición de credenciales | PHI clínica | PII amplia en inglés |
|---|---|---|---|
| Solo regex | 0.944 | 0.019 | 0.208 |
| Microsoft Presidio | 0.194 | 0.056 | 0.326 |
| Detectores de PII amplia de LSDF | 1.000 | 0.944 | 0.685 |
Son cifras de un proveedor sobre su propia herramienta, con corpus que él eligió. Sirven como punto de partida, y el repositorio incluye la repetición para que usted pueda comprobarlas. LSDF funciona delante de cualquier modelo, incluidos los que BroadNet no aloja.
¿Cuáles son los límites?
El artículo es un preprint, sin revisión por pares. Según la política de publicación responsable de BroadNet, los prompts exactos, los formatos de credenciales y los umbrales se excluyen de la versión pública y se comparten con proveedores de modelos e investigadores que los soliciten. Las versiones de los modelos cambian rápido, así que un veredicto de abril de 2026 es un motivo para probar, no un sustituto de las pruebas.
