BroadRouter

Safety Map: 39 LLMs حساس ڈیٹا کو کیسے سنبھالتے ہیں

BroadNet Inference ٹیم · 3 منٹ کی پڑھائی · شائع شدہ · اپ ڈیٹ

Safety Map، اپریل 2026 کا BroadNet کا ایک preprint ہے (DOI 10.5281/zenodo.19688433)۔ اس میں 14 لیبز کے 39 ماڈلز کو credentials، PII، صحت کے ڈیٹا، اکاؤنٹ نمبرز اور DLP اسکیننگ پر 7 probes سے، تقریباً 1,300 multi-run جانچوں میں پرکھا گیا۔ حفاظت کیٹیگریز یا آؤٹ پٹ چینلز کے درمیان منتقل نہیں ہوئی: tool-call arguments بھرنے والے 73 میں سے 20 رنز نے ان کے ذریعے ڈیٹا لیک کیا۔

Safety Map، BroadNet کا یہ سروے ہے کہ بڑے لسانی ماڈلز حساس ڈیٹا کو کیسے سنبھالتے ہیں۔ preprint، The Safety Map: What Does and Doesn’t Transfer in LLM Sensitive-Data Handling، 22 اپریل 2026 کو Zenodo پر DOI 10.5281/zenodo.19688433 کے تحت شائع ہوا، اور اس کے مصنف Mohammad Al Zubaidi ہیں۔ یہ BroadNet کے حساس ڈیٹا کی جانچ کے طریقے کا ساتھی مقالہ ہے۔

آگے جو ہے، وہ abstract اور BroadNet کے ریسرچ صفحے کا ہمارا خلاصہ ہے۔ فیصلے BroadNet کے ہیں۔

سروے میں کیا شامل تھا؟

پہلو دائرہ
ماڈلز 39، 14 آزاد لیبز سے
probe منظرنامے 7
کیٹیگریز credentials، PII، protected health information (PHI)، مالی اکاؤنٹ نمبرز، data-loss-prevention (DLP) اسکیننگ
شواہد تقریباً 1,300 multi-run جانچوں سے 135+ درجہ بند ماڈل-probe جوڑے

BroadNet کا کیٹلاگ کہتا ہے کہ اس نے تقریباً 90 ریموٹ اور API ماڈلز، جنہیں اس نے کبھی اپنے ہارڈویئر پر نہیں چلایا، اپنے حفاظت، روٹنگ اور عربی ٹیسٹ ہارنسز سے گزارے ہیں، اور وہ نتائج اس نقشے میں شامل ہیں۔

اہم نتائج کیا ہیں؟

حفاظت ایک سطح ہے، ایک اسکور نہیں۔ یہ تین محوروں پر بدلتی ہے، جو ایک دوسرے پر جمع ہوتے ہیں:

  • آرکیٹیکچر۔ مقالہ credentials پر، مختلف روٹنگ ڈیزائنز میں، تقریباً 24B active پیرامیٹرز کی capacity floor بتاتا ہے، جس کی بنیادی مثال کم active پیرامیٹرز والے mixture-of-experts ماڈلز ہیں۔
  • نسل۔ alignment کا معیار ایک ہی ماڈل فیملی کے اندر سرحد کو سرکا دیتا ہے۔
  • لیب کی alignment سرمایہ کاری۔ کسی مشہور لیب کا flagship لیبل ضمانت نہیں۔

تینوں میں سے کوئی بھی اکیلا حفاظت کی پیش گوئی نہیں کرتا؛ وہ مل کر اثر ڈالتے ہیں۔

حفاظت کیٹیگریز کے درمیان منتقل نہیں ہوتی۔ credentials اور Social Security نمبرز کو صاف ستھرے طریقے سے سنبھالنا اسی ماڈل میں ناموں، صحت کے ریکارڈز یا اکاؤنٹ نمبرز تک نہیں پہنچا۔

آؤٹ پٹ چینلز الگ الگ لیک کرتے ہیں۔ عملی طور پر سب سے زیادہ وزن اسی نتیجے کا ہے:

  • جن 73 رنز نے tool_calls.arguments بھرے، ان میں سے 20 نے tool call کے ذریعے حساس قدریں بھیجیں۔ ان رنز کے پیچھے ماڈلز میں Moonshot کا Kimi K2.6 بھی تھا، جسے اس کی ریلیز کے دن ٹیسٹ کیا گیا، اور جسے مقالہ باقی معاملات میں credentials، PII، مالی ڈیٹا اور DLP پر multi-run محفوظ قرار دیتا ہے۔
  • جن 43 رنز میں فراہم کنندہ نے reasoning_content کو کم از کم 20 حروف سے بھرا، ان میں سے 29 نے ریزننگ میں حساس قدریں لیک کیں، جبکہ چیٹ جواب کو محفوظ، چھوٹا ہوا یا کٹا ہوا قرار دیا گیا۔

pruning حفاظت توڑ سکتی ہے۔ Meta کی Llama لائن کے دو آزاد pruned ورژنز، جنہیں NVIDIA نے neural architecture search سے بنایا، نے مختلف آؤٹ پٹ چینلز سے صحت کے ڈیٹا کی حفاظت توڑی۔

مقالہ پانچ درجوں کی درجہ بندی پر ختم ہوتا ہے۔ اس کا سب سے اوپر کا کلسٹر، جو پرکھی گئی ہر کیٹیگری میں یکساں محفوظ رہا، Claude Opus 4.7، GPT-5.4 اور GPT-5.4-mini، Gemini 3 Flash اور Gemini 3.1 Pro ہے۔ abstract کہتا ہے کہ xAI Grok اور Meta Llama کے flagships اس کلسٹر میں نہیں آتے۔

اپنے اسٹیک میں کیا بدلیں؟

  1. ہر چینل فلٹر کریں۔ نظر آنے والے جواب کی جانچ tool-call arguments اور ریزننگ فیلڈز کو چھوڑ دیتی ہے۔ اگر آپ tool calling یا ریزننگ ماڈل استعمال کرتے ہیں تو دونوں جانچیں۔
  2. کیٹیگری کے لحاظ سے ٹیسٹ کریں۔ credentials پر صاف نتیجہ صحت یا تنخواہ کے ڈیٹا کے بارے میں کچھ نہیں بتاتا۔
  3. ماڈل اپ ڈیٹس پر دوبارہ ٹیسٹ کریں۔ Kimi K2.6 والا نتیجہ ریلیز کے دن والے ماڈل سے آیا۔
  4. جہاں ہو سکے، پہلے redact کریں۔ ماڈل وہ لیک نہیں کر سکتا جو اس نے کبھی دیکھا ہی نہیں۔ ہماری حساس ڈیٹا گائیڈ Python میں placeholder سے redaction دکھاتی ہے۔

LSDF کیا ہے؟

LSDF، یعنی LLM Sensitive Data Firewall، وہ کنٹرول ہے جو BroadNet نے ان دو مقالوں سے بنایا اور Apache-2.0 کے تحت github.com/brntech/lsdf پر اوپن سورس کے طور پر جاری کیا۔ یہ OpenAI-compatible chat completions API کے لیے ایک reverse proxy ہے: آپ اپنے کلائنٹ کا base URL اس پر سیٹ کرتے ہیں، اور یہ آپ کے ماڈل سرور یا فراہم کنندہ تک آگے بھیجتا ہے۔ BroadNet کہتا ہے کہ یہ درخواستیں، جوابات، اسٹریم کیے گئے chunks، اسٹریم کیے گئے tool-call arguments، حاصل کردہ کانٹیکسٹ اور ریزننگ فیلڈز جانچتا ہے، اور ٹریسز اور لاگز کو الگ سے صاف کرتا ہے۔

BroadNet کی مئی 2026 کی جانچ، اس کے اپنے corpora پر، یہ recall بتاتی ہے:

ڈیٹیکٹر اسٹیک Credential replay Clinical PHI Broad English PII
صرف regex 0.944 0.019 0.208
Microsoft Presidio 0.194 0.056 0.326
LSDF broad-PII ڈیٹیکٹرز 1.000 0.944 0.685

یہ ایک وینڈر کے اپنے ٹول کے نمبر ہیں، اس کے چنے ہوئے corpora پر۔ نقطۂ آغاز کے طور پر یہ کارآمد ہیں، اور ریپوزٹری میں replay شامل ہے تاکہ آپ انہیں جانچ سکیں۔ LSDF کسی بھی ماڈل کے آگے کام کرتا ہے، ان کے بھی جنہیں BroadNet ہوسٹ نہیں کرتا۔

حدود کیا ہیں؟

مقالہ ایک preprint ہے، peer-review نہیں ہوا۔ BroadNet کی ذمہ دارانہ اشاعت کی پالیسی کے تحت درست پرامپٹس، credential فارمیٹس اور thresholds عوامی ورژن سے ہٹائے گئے ہیں، اور درخواست پر ماڈل فراہم کنندگان اور محققین سے شیئر کیے جاتے ہیں۔ ماڈل ورژنز تیزی سے بدلتے ہیں، اس لیے اپریل 2026 کا فیصلہ ٹیسٹ کرنے کی وجہ ہے، ٹیسٹ کا متبادل نہیں۔

عام سوالات

Safety Map میں کن ماڈلز نے سب سے اچھا کیا؟

abstract سب سے اوپر ایک frontier-alignment کلسٹر رکھتا ہے، جو پرکھی گئی ہر کیٹیگری میں یکساں محفوظ رہا: Claude Opus 4.7، GPT-5.4 اور GPT-5.4-mini، Gemini 3 Flash اور Gemini 3.1 Pro۔ Claude Sonnet 4.6 بالکل نیچے ہے، 15 رنز میں صحت کے ڈیٹا کے ایک لیک کے ساتھ، جس میں صرف تاریخِ پیدائش تھی۔

جو ماڈل کبھی API کلیدیں لیک نہیں کرتا، کیا وہ مریضوں کے ڈیٹا کے ساتھ محفوظ ہے؟

ضروری نہیں۔ مقالے نے پایا کہ حفاظت کیٹیگری کے لحاظ سے الگ ہو جاتی ہے: جس ماڈل نے credentials، Social Security نمبرز اور ڈیٹا بیس پاس ورڈز محفوظ رکھے، وہ پھر بھی ہر رن میں تنخواہ کی ایک دستاویز کے ملازمین کے نام بتا سکتا تھا۔

tool calls کیوں اہم ہیں؟

کیونکہ کئی فلٹرز صرف چیٹ جواب جانچتے ہیں۔ جن 73 رنز میں ماڈل نے tool-call arguments بھرے، ان میں سے 20 نے اس چینل سے حساس قدریں بھیجیں، ایک ایسے ماڈل میں بھی جو باقی معاملات میں multi-run محفوظ تھا۔

کیا چھوٹے mixture-of-experts ماڈلز زیادہ لیک کرتے ہیں؟

مقالہ credentials پر تقریباً 24B active پیرامیٹرز کی ایک capacity floor بتاتا ہے، جو بنیادی طور پر کم active پیرامیٹرز والے mixture-of-experts ڈیزائنز میں ظاہر ہوتی ہے۔ BroadNet کی practitioner پوسٹ کہتی ہے کہ اسے اب تک 24B سے کم active پیرامیٹرز والا ایسا کوئی MoE ماڈل نہیں ملا جو اس کے structured-data probes پر لیک نہ کرے۔

کیا BroadNet Inference کے ماڈلز Safety Map میں شامل ہیں؟

abstract ان کے لیے ماڈل بہ ماڈل فیصلے درج نہیں کرتا، اور یہ پری پرنٹ اپریل 2026 کا ہے، اس لیے بعد میں جاری ہونے والا کوئی ماڈل اس میں شامل نہیں ہو سکتا۔ Gemma 4 VL 26B میں تقریباً 4B active پیرامیٹرز ہیں، اس لیے اگر وہ credentials یا ذاتی ڈیٹا دیکھے گا تو اسے اپنے حساس ڈیٹا probes پر پرکھیں، یا بھیجنے سے پہلے redact کریں۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں