Il ramo di ricerca di BroadNet ha pubblicato un metodo pratico per verificare se un modello linguistico di grandi dimensioni fa trapelare dati sensibili prima del deploy. Il preprint, How to Evaluate an LLM for Sensitive Data Safety Before Deploying It, è su Zenodo con DOI 10.5281/zenodo.19574049, datato 14 aprile 2026, e replicato su SSRN. La sua scheda su Zenodo indica Mohammad Al Zubaidi come autore.
Questa pagina riassume il metodo e i risultati. È un lavoro di BroadNet, e i risultati sono suoi; non li abbiamo riprodotti.
Perché i benchmark normali non lo rilevano?
I benchmark pubblici misurano la capacità: cosa sa fare un modello al suo meglio. Un modello messo a controllare un file di configurazione o una nota clinica deve anche non fare una cosa: ripetere il segreto che ha trovato. L’esempio dello studio lo chiarisce. Un modello che ottiene 95 su 99 compiti e ripete una chiave API nel centesimo ha una media di 94 ed è comunque inutilizzabile in produzione.
BroadNet lo chiama testare i pavimenti invece dei soffitti, e lo studio tratta «capability and constraint» (capacità e vincolo) come assi indipendenti.
Cosa testa il metodo?
Quattro categorie, ciascuna testata separatamente:
| Categoria | Esempi | Come la riconosce un modello |
|---|---|---|
| Credenziali | Chiavi API, token, chiavi SSH, password di database | Soprattutto dal formato; le password nelle stringhe di connessione non hanno indizi di formato |
| Informazioni personali identificabili (PII) | Nomi, email, numeri di telefono, documenti d’identità | Dal formato per gli identificativi strutturati, dal significato per il testo libero |
| Informazioni sanitarie protette (PHI) | Diagnosi, prescrizioni, note cliniche | Spesso dal contesto: una diagnosi accanto a un nome |
| Dati finanziari | Numeri di conto, saldi, transazioni | Dal formato, ma trattati meno spesso come sensibili |
L’abstract riporta test su «24+ models across 6 model families» (oltre 24 modelli di 6 famiglie) e trova una gerarchia netta: il riconoscimento basato sul formato, come credenziali strutturate e Social Security number, è molto più affidabile di quello basato sul contesto, come nomi che diventano sensibili accanto a una diagnosi. Un modello con lo 0% di fughe sulle credenziali ha fatto trapelare identificativi di pazienti in ogni esecuzione dei test PHI.
Come vanno valutati i risultati?
Lo studio propone un protocollo minimo:
- Punteggio binario. Ogni esecuzione è sicura o no; nessun punteggio parziale per una risposta «quasi sicura».
- Fughe e mancate segnalazioni valutate separatamente. Fonderle in un solo numero nasconde quella che conta per il tuo caso d’uso.
- Esecuzioni multiple. Tre o più per modello e sonda, perché lo stesso modello può superare il test un giorno e fallirlo il giorno dopo.
- Categoria per categoria. La sicurezza sulle credenziali non dice nulla sulla sicurezza con le cartelle cliniche.
Il resoconto operativo di BroadNet aggiunge le regole che applica nei progetti pilota: usare solo dati sintetici, testare l’intera configurazione di deploy (system prompt, tool e retrieval compresi), richiedere cinque esecuzioni pulite consecutive prima della produzione, e ripetere i test ogni mese per i modelli self-hosted e ogni settimana per i modelli di terze parti che si aggiornano spesso.
Cosa non ha funzionato?
Due rimedi comuni hanno peggiorato le cose nei test di BroadNet:
- Istruzioni nel prompt. Aggiungere «non rivelare le credenziali» a volte è stato ignorato, e la strategia di prompt più insistente ha causato fughe in un modello che di base era pulito.
- Fine-tuning su esempi negativi. Addestrare un modello a rifiutare una categoria ha aumentato il tasso di fughe invece di ridurlo.
Secondo BroadNet, ha retto la combinazione di tre livelli: scegliere un modello a rischio più basso per la categoria, filtrare l’output con uno strumento deterministico (cita Microsoft Presidio e LLM Guard) e oscurare l’input prima di costruire il prompt quando il compito non richiede i valori. La nostra guida all’invio di dati sensibili a un’API LLM mostra il passaggio di oscuramento nel codice.
Cosa non pubblica lo studio?
In base alla sua policy di pubblicazione responsabile, BroadNet pubblica categorie, filosofia di valutazione, dimensioni dei campioni e avvertenze, ma non i template esatti dei prompt, i formati delle credenziali né le soglie di superamento. La sua motivazione: pubblicarli abbasserebbe lo sforzo necessario per l’estrazione senza offrire alcuna difesa a chi fa il deploy. Provider dei modelli e ricercatori di sicurezza possono richiederli. Il metodo è quindi riproducibile nella forma, ma non numero per numero.
Che legame c’è con BroadNet Inference?
È un test dei modelli, non di un provider. Si applica a qualsiasi modello su qualsiasi API, compresi quelli di BroadNet Inference. Lo studio gemello, la Safety Map, lo applica a 39 modelli di 14 laboratori e scopre che i valori sensibili possono uscire anche dagli argomenti delle tool call e dai campi di ragionamento. In seguito BroadNet ha rilasciato un firewall open source basato su entrambi gli studi, LSDF, descritto nel riassunto della Safety Map.
La conservazione da parte del provider è una questione separata: la zero data retention riguarda ciò che BroadNet conserva, non ciò che un modello scrive nei tuoi sistemi.

![Cards reading Name and Email turning into the placeholders [PERSON] and [EMAIL], with the text "Redact. Process. Restore." and "LSDF by BroadNet".](/_astro/lsdf-redact.DvY_-MHj_ZO6b3q.webp)