Safety Map, BroadNet’in büyük dil modellerinin hassas verileri nasıl ele aldığına dair araştırması. The Safety Map: What Does and Doesn’t Transfer in LLM Sensitive-Data Handling başlıklı ön baskı 22 Nisan 2026’da Zenodo’da 10.5281/zenodo.19688433 DOI numarasıyla yayımlandı; yazarı Mohammad Al Zubaidi. BroadNet’in hassas veri değerlendirme yönteminin tamamlayıcısı niteliğinde.
Aşağıdakiler, özetin ve BroadNet’in araştırma sayfasının bizim tarafımızdan yapılmış bir özeti. Değerlendirmeler BroadNet’e ait.
Araştırma neleri kapsadı?
| Boyut | Kapsam |
|---|---|
| Modeller | 14 bağımsız laboratuvardan 39 |
| Test senaryoları | 7 |
| Kategoriler | Kimlik bilgileri, kişisel tanımlayıcı bilgiler (PII), korunan sağlık bilgileri (PHI), finansal hesap numaraları, veri kaybı önleme (DLP) taraması |
| Kanıt | Yaklaşık 1.300 çok çalıştırmalı değerlendirmeden 135’ten fazla sınıflandırılmış model-test kombinasyonu |
BroadNet’in kataloğu, kendi donanımında hiç çalıştırmadığı yaklaşık 90 uzak ve API modelini güvenlik, yönlendirme ve Arapça test düzeneklerinden geçirdiğini ve bu bulguların bu haritayı beslediğini söylüyor.
Temel bulgular neler?
Güvenlik tek bir puan değil, bir yüzeydir. Üst üste binen üç eksende değişir:
- Mimari. Makale, yönlendirme tasarımlarından bağımsız olarak kimlik bilgilerinde yaklaşık 24B aktif parametrelik bir kapasite tabanı bildiriyor; başlıca örnek, küçük aktif parametreli uzmanlar karışımı (MoE) modelleri.
- Kuşak. Hizalama kalitesi, bir model ailesi içinde sınırı kaydırır.
- Laboratuvarın hizalamaya yatırımı. Tanınmış bir laboratuvarın amiral gemisi etiketi bir garanti değildir.
Üçünden hiçbiri güvenliği tek başına öngörmez; birlikte etki ederler.
Güvenlik kategoriler arasında aktarılmaz. Kimlik bilgilerini ve Sosyal Güvenlik numaralarını sorunsuz ele almak, aynı modelde isimlere, sağlık kayıtlarına veya hesap numaralarına taşınmadı.
Çıktı kanalları birbirinden bağımsız sızdırır. Pratikte en çok ağırlık taşıyan bulgu bu:
tool_calls.argumentsalanını dolduran 73 çalıştırmanın 20’si hassas değerleri araç çağrısı üzerinden gönderdi. Bu çalıştırmaların arkasındaki modeller arasında, çıktığı gün test edilen Moonshot’ın Kimi K2.6 modeli de vardı. Makale bu modeli kimlik bilgileri, PII, finansal veriler ve DLP’de aksi halde çok çalıştırmada güvenli olarak değerlendiriyor.- Sağlayıcının
reasoning_contentalanını en az 20 karakterle doldurduğu 43 çalıştırmanın 29’u, sohbet yanıtı güvenli, eksik ya da kesik olarak değerlendirilirken hassas değerleri akıl yürütmeye sızdırdı.
Budama (pruning) güvenliği bozabilir. Meta’nın Llama serisinin NVIDIA tarafından sinirsel mimari aramasıyla (NAS) yapılmış iki bağımsız budanmış sürümü, farklı çıktı kanallarından sağlık verisi güvenliğini bozdu.
Makale beş katmanlı bir sıralamayla bitiyor. Test edilen her kategoride tutarlı biçimde güvenli olan en üst küme Claude Opus 4.7, GPT-5.4 ve GPT-5.4-mini, Gemini 3 Flash ve Gemini 3.1 Pro. Özet, xAI Grok ve Meta Llama amiral gemilerinin bu kümeye girmediğini söylüyor.
Kendi altyapınızda neyi değiştirmelisiniz?
- Her kanalı filtreleyin. Görünür yanıtı kontrol etmek araç çağrısı argümanlarını ve akıl yürütme alanlarını kaçırır. Araç çağırma veya bir akıl yürütme modeli kullanıyorsanız ikisini de inceleyin.
- Kategori bazında test edin. Kimlik bilgilerinde temiz bir sonuç, sağlık veya maaş verileri hakkında hiçbir şey söylemez.
- Model güncellemelerinde yeniden test edin. Kimi K2.6 sonucu, çıktığı günkü bir modelden geldi.
- Mümkünse önce maskeleyin. Model görmediği şeyi sızdıramaz. Hassas veri rehberimiz Python’da yer tutucuyla maskelemeyi gösteriyor.
LSDF nedir?
LSDF (LLM Sensitive Data Firewall), BroadNet’in bu iki makaleden yola çıkarak geliştirdiği ve Apache-2.0 lisansıyla github.com/brntech/lsdf adresinde açık kaynak olarak yayımladığı denetim aracı. OpenAI uyumlu chat completions API’si için bir ters vekil sunucu (reverse proxy): istemcinizin temel URL’sini ona yönlendirirsiniz, o da isteği model sunucunuza veya sağlayıcınıza iletir. BroadNet’e göre istekleri, yanıtları, akışla gelen parçaları, akışla gelen araç çağrısı argümanlarını, getirilen bağlamı ve akıl yürütme alanlarını inceliyor; izleri ve günlükleri ayrıca temizliyor.
BroadNet’in Mayıs 2026’da kendi veri setleri üzerinde yaptığı değerlendirme şu duyarlılık (recall) değerlerini bildiriyor:
| Dedektör yığını | Kimlik bilgisi tekrarı | Klinik PHI | Geniş kapsamlı İngilizce PII |
|---|---|---|---|
| Yalnızca regex | 0,944 | 0,019 | 0,208 |
| Microsoft Presidio | 0,194 | 0,056 | 0,326 |
| LSDF geniş PII dedektörleri | 1,000 | 0,944 | 0,685 |
Bunlar bir satıcının kendi aracı için, kendi seçtiği veri setlerinde elde ettiği rakamlar. Başlangıç noktası olarak işe yarar; depo, kontrol edebilmeniz için tekrar senaryosunu da içeriyor. LSDF, BroadNet’in barındırmadığı modeller dahil her modelin önünde çalışır.
Sınırları neler?
Makale bir ön baskı ve hakem değerlendirmesinden geçmedi. BroadNet’in sorumlu yayın politikası gereği tam istemler, kimlik bilgisi biçimleri ve eşikler kamuya açık sürümden çıkarılmış; model sağlayıcıları ve araştırmacılarla talep üzerine paylaşılıyor. Model sürümleri hızla değişiyor; Nisan 2026 tarihli bir değerlendirme test yapmak için bir neden, test yapmanın yerine geçen bir şey değil.
