نشر الذراع البحثي لـ BroadNet طريقة عملية لاختبار ما إذا كان نموذج لغوي كبير يسرّب بيانات حساسة قبل نشره. الورقة الأولية، How to Evaluate an LLM for Sensitive Data Safety Before Deploying It (الترجمة: كيف تقيّم نموذج LLM لأمان البيانات الحساسة قبل نشره)، موجودة على Zenodo تحت المعرّف DOI 10.5281/zenodo.19574049، بتاريخ 14 أبريل 2026، ولها نسخة على SSRN. ويذكر سجلها على Zenodo أن مؤلفها محمد الزبيدي (Mohammad Al Zubaidi).
تلخّص هذه الصفحة الطريقة ونتائجها. وهي عمل BroadNet، والنتائج نتائجها؛ ولم نُعِد تشغيلها.
لماذا لا تكشف المقاييس المعتادة هذا؟
تقيس المقاييس المعيارية العامة القدرة: ما يستطيع النموذج فعله في أفضل حالاته. أما النموذج المنشور لتدقيق ملف إعدادات أو ملاحظة سريرية فيجب أيضًا ألا يفعل شيئًا: أن يكرر السر الذي وجده. ومثال الورقة يوضح الفكرة. فالنموذج الذي يحرز 95 في 99 مهمة وينسخ مفتاح API في المهمة المئة يبلغ متوسطه 94، ويظل غير صالح للإنتاج.
وتسمّي BroadNet ذلك اختبار الحدود الدنيا بدل الحدود العليا، وتتعامل الورقة مع “capability and constraint” (الترجمة: القدرة والقيد) كمحورين مستقلين.
ماذا تختبر الطريقة؟
أربع فئات، تُختبر كلٌّ منها على حدة:
| الفئة | أمثلة | كيف يتعرّف عليها النموذج |
|---|---|---|
| بيانات الاعتماد | مفاتيح API، والرموز السرية، ومفاتيح SSH، وكلمات مرور قواعد البيانات | بالصيغة غالبًا؛ وكلمات المرور في سلاسل الاتصال لا تحمل أي إشارة في صيغتها |
| البيانات الشخصية المعرِّفة (PII) | الأسماء، والبريد الإلكتروني، وأرقام الهواتف، والهويات الحكومية | بالصيغة للمعرّفات المهيكلة، وبالمعنى للنص الحر |
| المعلومات الصحية المحمية (PHI) | التشخيصات، والوصفات الطبية، والملاحظات السريرية | بالسياق غالبًا: تشخيص بجانب اسم |
| البيانات المالية | أرقام الحسابات، والأرصدة، والمعاملات | بالصيغة، لكنها تُعامل كبيانات حساسة بدرجة أقل |
يذكر الملخص اختبار “24+ models across 6 model families” (الترجمة: أكثر من 24 نموذجًا عبر 6 عائلات نماذج)، ويجد تسلسلًا هرميًا واضحًا: التعرّف القائم على الصيغة، مثل بيانات الاعتماد المهيكلة وأرقام الضمان الاجتماعي، أكثر موثوقية بكثير من التعرّف القائم على السياق، مثل الأسماء التي تصبح حساسة بجانب تشخيص. فنموذج بمعدل تسريب 0% لبيانات الاعتماد سرّب معرّفات المرضى في كل تشغيل لاختبار PHI.
كيف يجب تقييم النتائج؟
تقترح الورقة بروتوكولًا أدنى:
- تقييم ثنائي. كل تشغيل إما آمن أو غير آمن؛ ولا درجات جزئية لإجابة “آمنة في معظمها”.
- تقييم التسريب والإغفال بشكل منفصل. فدمجهما في رقم واحد يخفي ما يهم حالة استخدامك منهما.
- تشغيلات متعددة. ثلاثة أو أكثر لكل نموذج وفحص، لأن النموذج نفسه قد ينجح يومًا ويسرّب في اليوم التالي.
- فئة بفئة. فالأمان مع بيانات الاعتماد لا يقول شيئًا عن الأمان مع السجلات الصحية.
ويضيف تقرير BroadNet الموجّه للممارسين قواعد تشغيلية تستخدمها في المشاريع التجريبية: استخدم بيانات اصطناعية فقط، واختبر إعدادات النشر كاملة (بما فيها أمر النظام والأدوات والاسترجاع)، واشترط خمسة تشغيلات نظيفة متتالية قبل الإنتاج، وأعد الاختبار شهريًا للنماذج المستضافة ذاتيًا، وأسبوعيًا لنماذج الأطراف الثالثة التي تتحدّث كثيرًا.
ما الذي لم ينجح؟
حلّان شائعان جعلا الأمور أسوأ في اختبارات BroadNet:
- التعليمات في الأوامر. إضافة “لا تكشف بيانات الاعتماد” تم تجاهلها أحيانًا، وتسببت استراتيجية الأوامر الأشد صرامة في تسريبات لدى نموذج كان نظيفًا في خط الأساس.
- الضبط الدقيق على الأمثلة السلبية. تدريب النموذج على رفض فئة ما زاد معدلات التسريب بدل أن يخفضها.
أما ما صمد، بحسب رواية BroadNet، فهو ثلاث طبقات معًا: اختر نموذجًا أقل خطورة للفئة، ورشّح المخرجات بأداة حتمية (تذكر Microsoft Presidio وLLM Guard)، واحجب المدخلات قبل بناء الأمر حين لا تحتاج المهمة إلى القيم. ويعرض دليلنا لإرسال البيانات الحساسة إلى LLM API خطوة الحجب بالشيفرة.
ما الذي لا تنشره الورقة؟
بموجب سياسة النشر المسؤول، تنشر BroadNet الفئات، وفلسفة التقييم، وأحجام العينات، والتحفظات، لكنها لا تنشر قوالب الأوامر الدقيقة، ولا صيغ بيانات الاعتماد، ولا عتبات النجاح والإخفاق. وسببها: أن نشرها سيقلل الجهد اللازم للاستخراج دون أن يتوفر دفاع لمن ينشرون النماذج. ويمكن لمزوّدي النماذج وباحثي الأمان طلبها. وهذا يجعل الطريقة قابلة للتكرار في شكلها، لا رقمًا برقم.
ما علاقة ذلك بـ BroadNet Inference؟
هذا اختبار للنماذج، لا للمزوّد. وهو ينطبق على أي نموذج عبر أي API، بما في ذلك النماذج على BroadNet Inference. وتطبّقه الورقة المرافقة، خريطة الأمان، على 39 نموذجًا من 14 مختبرًا، وتجد أن القيم الحساسة قد تخرج أيضًا عبر معاملات استدعاء الأدوات وحقول الاستدلال. وأصدرت BroadNet لاحقًا جدار حماية مفتوح المصدر مبنيًا على الورقتين، هو LSDF، الموصوف في ملخص خريطة الأمان.
أما احتفاظ المزوّد بالبيانات فمسألة منفصلة: يغطي عدم الاحتفاظ بالبيانات ما تخزّنه BroadNet، لا ما يكتبه النموذج في أنظمتك.

![Cards reading Name and Email turning into the placeholders [PERSON] and [EMAIL], with the text "Redact. Process. Restore." and "LSDF by BroadNet".](/_astro/lsdf-redact.DvY_-MHj_ZO6b3q.webp)