Safety Map, BroadNet का यह सर्वे है कि बड़े भाषा मॉडल संवेदनशील डेटा को कैसे संभालते हैं। preprint, The Safety Map: What Does and Doesn’t Transfer in LLM Sensitive-Data Handling, 22 अप्रैल 2026 को Zenodo पर DOI 10.5281/zenodo.19688433 के तहत प्रकाशित हुआ, और इसके लेखक Mohammad Al Zubaidi हैं। यह BroadNet के संवेदनशील डेटा evaluation तरीक़े का साथी पेपर है।
आगे जो है, वह abstract और BroadNet के रिसर्च पेज का हमारा सारांश है। फ़ैसले BroadNet के हैं।
सर्वे में क्या शामिल था?
| पहलू | दायरा |
|---|---|
| मॉडल | 39, 14 स्वतंत्र लैब से |
| probe परिदृश्य | 7 |
| कैटेगरी | credentials, PII, protected health information (PHI), वित्तीय अकाउंट नंबर, data-loss-prevention (DLP) स्कैनिंग |
| सबूत | लगभग 1,300 multi-run evaluation से 135+ वर्गीकृत मॉडल-probe जोड़े |
BroadNet का कैटलॉग कहता है कि उसने लगभग 90 रिमोट और API मॉडल, जिन्हें उसने कभी अपने हार्डवेयर पर नहीं चलाया, अपने सुरक्षा, रूटिंग और अरबी टेस्ट हार्नेस से गुज़ारे हैं, और वे नतीजे इस मैप में शामिल हैं।
मुख्य नतीजे क्या हैं?
सुरक्षा एक सतह है, एक स्कोर नहीं। यह तीन धुरियों पर बदलती है, जो एक-दूसरे पर जुड़ती हैं:
- आर्किटेक्चर। पेपर credentials पर, अलग-अलग रूटिंग डिज़ाइन में, लगभग 24B active पैरामीटर की capacity floor बताता है, जिसका मुख्य उदाहरण कम active पैरामीटर वाले mixture-of-experts मॉडल हैं।
- पीढ़ी। alignment की गुणवत्ता एक ही मॉडल फ़ैमिली के अंदर सीमा खिसका देती है।
- लैब का alignment निवेश। किसी जानी-मानी लैब का flagship लेबल गारंटी नहीं है।
तीनों में से कोई भी अकेले सुरक्षा का अनुमान नहीं देती; वे मिलकर असर डालती हैं।
सुरक्षा कैटेगरी के बीच transfer नहीं होती। credentials और Social Security नंबर को साफ़-सुथरे ढंग से संभालना उसी मॉडल में नाम, हेल्थ रिकॉर्ड या अकाउंट नंबर तक नहीं पहुँचा।
आउटपुट चैनल अलग-अलग लीक करते हैं। व्यवहार में सबसे ज़्यादा वज़न इसी नतीजे का है:
- जिन 73 रन ने
tool_calls.argumentsभरे, उनमें से 20 ने tool call के ज़रिए संवेदनशील वैल्यू भेजीं। उन रन के पीछे के मॉडलों में Moonshot का Kimi K2.6 था, जिसे उसकी रिलीज़ के दिन परखा गया, और जिसे पेपर बाक़ी मामलों में credentials, PII, वित्तीय डेटा और DLP पर multi-run सुरक्षित मानता है। - जिन 43 रन में प्रोवाइडर ने
reasoning_contentको कम से कम 20 कैरेक्टर से भरा, उनमें से 29 ने रीज़निंग में संवेदनशील वैल्यू लीक कीं, जबकि चैट जवाब को सुरक्षित, छूटा हुआ या कटा हुआ आँका गया।
pruning सुरक्षा तोड़ सकती है। Meta की Llama लाइन के दो स्वतंत्र pruned वर्शन, जिन्हें NVIDIA ने neural architecture search से बनाया, ने अलग-अलग आउटपुट चैनल से हेल्थ डेटा की सुरक्षा तोड़ी।
पेपर पाँच स्तर की रैंकिंग के साथ ख़त्म होता है। उसका सबसे ऊपर का क्लस्टर, जो परखी गई हर कैटेगरी में एक समान सुरक्षित रहा, Claude Opus 4.7, GPT-5.4 और GPT-5.4-mini, Gemini 3 Flash और Gemini 3.1 Pro है। abstract कहता है कि xAI Grok और Meta Llama के flagship उस क्लस्टर में नहीं आते।
अपने स्टैक में क्या बदलें?
- हर चैनल फ़िल्टर करें। दिखने वाले जवाब की जाँच tool-call arguments और रीज़निंग फ़ील्ड छोड़ देती है। अगर आप tool calling या रीज़निंग मॉडल इस्तेमाल करते हैं, तो दोनों जाँचें।
- कैटेगरी के हिसाब से टेस्ट करें। credentials पर साफ़ नतीजा हेल्थ या सैलरी डेटा के बारे में कुछ नहीं बताता।
- मॉडल अपडेट पर फिर टेस्ट करें। Kimi K2.6 वाला नतीजा रिलीज़ के दिन वाले मॉडल से आया।
- जहाँ हो सके, पहले redact करें। मॉडल वह लीक नहीं कर सकता जो उसने कभी देखा ही नहीं। हमारी संवेदनशील डेटा गाइड Python में placeholder से redaction दिखाती है।
LSDF क्या है?
LSDF, यानी LLM Sensitive Data Firewall, वह कंट्रोल है जो BroadNet ने इन दो पेपर से बनाया और Apache-2.0 के तहत github.com/brntech/lsdf पर ओपन सोर्स के रूप में जारी किया। यह OpenAI-compatible chat completions API के लिए एक reverse proxy है: आप अपने क्लाइंट का base URL इस पर सेट करते हैं, और यह आपके मॉडल सर्वर या प्रोवाइडर तक आगे भेजता है। BroadNet कहता है कि यह अनुरोध, रिस्पॉन्स, स्ट्रीम किए गए chunk, स्ट्रीम किए गए tool-call arguments, लाए गए कॉन्टेक्स्ट और रीज़निंग फ़ील्ड जाँचता है, और ट्रेस और लॉग को अलग से साफ़ करता है।
BroadNet का मई 2026 का evaluation, उसके अपने corpora पर, यह recall बताता है:
| डिटेक्टर स्टैक | Credential replay | Clinical PHI | Broad English PII |
|---|---|---|---|
| सिर्फ़ regex | 0.944 | 0.019 | 0.208 |
| Microsoft Presidio | 0.194 | 0.056 | 0.326 |
| LSDF broad-PII डिटेक्टर | 1.000 | 0.944 | 0.685 |
ये एक वेंडर के अपने टूल के नंबर हैं, उसके चुने हुए corpora पर। शुरुआती बिंदु के रूप में ये काम के हैं, और रिपॉज़िटरी में replay शामिल है ताकि आप इन्हें जाँच सकें। LSDF किसी भी मॉडल के आगे काम करता है, उनके भी जिन्हें BroadNet होस्ट नहीं करता।
सीमाएँ क्या हैं?
पेपर एक preprint है, peer-review नहीं हुआ। BroadNet की ज़िम्मेदार प्रकाशन नीति के तहत सटीक prompt, credential फ़ॉर्मैट और threshold सार्वजनिक वर्शन से हटाए गए हैं, और अनुरोध पर मॉडल प्रोवाइडरों और रिसर्चरों से शेयर किए जाते हैं। मॉडल वर्शन तेज़ी से बदलते हैं, इसलिए अप्रैल 2026 का फ़ैसला टेस्ट करने की वजह है, टेस्ट का विकल्प नहीं।
