Die Safety Map ist die Untersuchung von BroadNet dazu, wie große Sprachmodelle mit sensiblen Daten umgehen. Das Preprint The Safety Map: What Does and Doesn’t Transfer in LLM Sensitive-Data Handling erschien am 22. April 2026 auf Zenodo unter der DOI 10.5281/zenodo.19688433, mit Mohammad Al Zubaidi als Autor. Es ist das Begleitstück zur Evaluierungsmethode für sensible Daten von BroadNet.
Im Folgenden fassen wir den Abstract und die Forschungsseite von BroadNet zusammen. Die Urteile stammen von BroadNet.
Was hat die Untersuchung abgedeckt?
| Dimension | Umfang |
|---|---|
| Modelle | 39, von 14 unabhängigen Labs |
| Probe-Szenarien | 7 |
| Kategorien | Zugangsdaten, PII, geschützte Gesundheitsdaten (PHI), Finanzkontonummern, Data-Loss-Prevention-Scans (DLP) |
| Belege | über 135 klassifizierte Kombinationen aus Modell und Probe aus rund 1.300 Evaluierungen mit mehreren Läufen |
Laut Katalog von BroadNet hat das Unternehmen etwa 90 Remote- und API-Modelle, die es nie auf eigener Hardware betrieb, durch seine Testumgebungen für Sicherheit, Routing und Arabisch geschickt, und diese Ergebnisse fließen in diese Map ein.
Was sind die wichtigsten Ergebnisse?
Sicherheit ist eine Fläche, kein einzelner Wert. Sie variiert entlang dreier Achsen, die zusammenwirken:
- Architektur. Das Paper berichtet bei Zugangsdaten von einer Kapazitätsuntergrenze bei etwa 24B aktiven Parametern, über Routing-Designs hinweg, mit Mixture-of-Experts-Modellen mit wenigen aktiven Parametern als Hauptfall.
- Generation. Die Alignment-Qualität verschiebt die Grenze innerhalb einer Modellfamilie.
- Die Investition des Labs in Alignment. Ein Flaggschiff-Label eines bekannten Labs ist keine Garantie.
Keine der drei sagt die Sicherheit allein voraus; sie wirken zusammen.
Sicherheit überträgt sich nicht zwischen Kategorien. Wer Zugangsdaten und US-Sozialversicherungsnummern sauber behandelte, tat das im selben Modell nicht automatisch auch bei Namen, Gesundheitsakten oder Kontonummern.
Ausgabekanäle leaken unabhängig voneinander. Das ist das Ergebnis mit dem größten praktischen Gewicht:
- Von 73 Läufen, die
tool_calls.argumentsfüllten, schickten 20 sensible Werte über den Tool Call. Unter den Modellen hinter diesen Läufen war Kimi K2.6 von Moonshot, getestet am Tag seiner Veröffentlichung, ein Modell, das das Paper sonst über mehrere Läufe als sicher bei Zugangsdaten, PII, Finanzdaten und DLP einstuft. - Von 43 Läufen, in denen der Anbieter
reasoning_contentmit mindestens 20 Zeichen füllte, leakten 29 sensible Werte ins Reasoning, während die Chat-Antwort als sicher, fehlend oder abgeschnitten eingestuft wurde.
Pruning kann die Sicherheit brechen. Zwei unabhängige geprunte Versionen der Llama-Reihe von Meta, von NVIDIA mit Neural Architecture Search erstellt, brachen die Sicherheit bei Gesundheitsdaten über unterschiedliche Ausgabekanäle.
Das Paper schließt mit einem Ranking in fünf Stufen. Sein Spitzencluster, in jeder getesteten Kategorie durchgehend sicher, besteht aus Claude Opus 4.7, GPT-5.4 und GPT-5.4-mini, Gemini 3 Flash und Gemini 3.1 Pro. Laut Abstract schaffen es die Flaggschiffe von xAI Grok und Meta Llama nicht in diesen Cluster.
Was sollten Sie in Ihrem eigenen Stack ändern?
- Jeden Kanal filtern. Eine Prüfung der sichtbaren Antwort übersieht Tool-Call-Argumente und Reasoning-Felder. Wenn Sie Tool Calling oder ein Reasoning-Modell nutzen, prüfen Sie beides.
- Nach Kategorie testen. Ein sauberes Ergebnis bei Zugangsdaten sagt nichts über Gesundheits- oder Gehaltsdaten.
- Bei Modell-Updates neu testen. Das Ergebnis zu Kimi K2.6 stammt von einem Modell am Tag seiner Veröffentlichung.
- Wo möglich, zuerst schwärzen. Ein Modell kann nicht leaken, was es nie gesehen hat. Unser Leitfaden zu sensiblen Daten zeigt das Schwärzen mit Platzhaltern in Python.
Was ist LSDF?
LSDF, die LLM Sensitive Data Firewall, ist die Schutzmaßnahme, die BroadNet aus diesen beiden Papers gebaut und als Open Source unter Apache-2.0 auf github.com/brntech/lsdf veröffentlicht hat. Es ist ein Reverse Proxy für die OpenAI-kompatible Chat-Completions-API: Sie richten die Base-URL Ihres Clients darauf, und er leitet an Ihren Modellserver oder Anbieter weiter. Laut BroadNet prüft er Anfragen, Antworten, gestreamte Chunks, gestreamte Tool-Call-Argumente, abgerufenen Kontext und Reasoning-Felder und bereinigt Traces und Logs separat.
Die Evaluierung von BroadNet vom Mai 2026 auf eigenen Korpora meldet folgenden Recall:
| Detektor-Stack | Wiedergabe von Zugangsdaten | Klinische PHI | Allgemeine englische PII |
|---|---|---|---|
| Nur Regex | 0,944 | 0,019 | 0,208 |
| Microsoft Presidio | 0,194 | 0,056 | 0,326 |
| LSDF-Detektoren für allgemeine PII | 1,000 | 0,944 | 0,685 |
Das sind Zahlen eines Anbieters zu seinem eigenen Tool, auf Korpora, die er selbst gewählt hat. Als Ausgangspunkt sind sie nützlich, und das Repository liefert die Wiedergabe mit, damit Sie sie prüfen können. LSDF funktioniert vor jedem Modell, auch vor solchen, die BroadNet nicht hostet.
Wo liegen die Grenzen?
Das Paper ist ein Preprint, nicht peer-reviewed. Gemäß der Richtlinie von BroadNet zur verantwortungsvollen Veröffentlichung fehlen in der öffentlichen Fassung die genauen Prompts, Formate der Zugangsdaten und Schwellenwerte; Modellanbieter und Forschende erhalten sie auf Anfrage. Modellversionen ändern sich schnell; ein Urteil vom April 2026 ist also ein Grund zu testen, kein Ersatz dafür.
