BroadRouter
Başlayın

LLM hassas veri güvenliği nasıl test edilir: BroadNet'in yöntemi

BroadNet Inference ekibi · 3 dk okuma · Yayımlandı

BroadNet'in Nisan 2026 tarihli ön baskısı (DOI 10.5281/zenodo.19574049, SSRN'de de var), yayına almadan önce hassas veri güvenliği için bir test tanımlıyor. Dört kategoriyi (kimlik bilgileri, kişisel veriler, sağlık ve finans verileri) ayrı ayrı test edin, sızıntıları ve kaçırmaları farklı hatalar olarak puanlayın, ikili puanlama kullanın ve her testi en az üç kez çalıştırın. Testlerinde istem kuralları ve olumsuz örneklerle ince ayar sızıntıları artırdı.

Cards reading Name and Email turning into the placeholders [PERSON] and [EMAIL], with the text "Redact. Process. Restore." and "LSDF by BroadNet".

BroadNet’in araştırma birimi, büyük bir dil modelinin hassas veri sızdırıp sızdırmadığını yayına almadan önce test etmek için pratik bir yöntem yayımladı. How to Evaluate an LLM for Sensitive Data Safety Before Deploying It başlıklı ön baskı, 14 Nisan 2026 tarihiyle Zenodo’da 10.5281/zenodo.19574049 DOI numarasıyla yer alıyor ve SSRN’de de yansıtılmış durumda. Zenodo kaydı yazar olarak Mohammad Al Zubaidi’yi gösteriyor.

Bu sayfa yöntemi ve bulgularını özetliyor. Çalışma BroadNet’e, bulgular da kendisine ait; biz yeniden çalıştırmadık.

Normal kıyaslamalar bunu neden yakalamaz?

Kamuya açık kıyaslamalar yeteneği ölçer: bir modelin en iyi halinde neler yapabildiğini. Bir yapılandırma dosyasını veya klinik bir notu denetlemek için yayına alınan bir modelin ise bir şeyi yapmaması da gerekir: bulduğu sırrı tekrarlamak. Makalenin örneği bunu net gösteriyor. 99 görevde 95 alan ve yüzüncüde bir API anahtarını aynen yazan bir model ortalamada 94 alır ve yine de üretimde kullanılamaz.

BroadNet buna tavanları değil tabanları test etmek diyor; makale de “capability and constraint” (BroadRouter çevirisi: yetenek ve kısıt) kavramlarını birbirinden bağımsız eksenler olarak ele alıyor.

Yöntem neyi test ediyor?

Her biri kendi başına test edilen dört kategori:

Kategori Örnekler Model onu nasıl tanır
Kimlik bilgileri API anahtarları, token’lar, SSH anahtarları, veritabanı parolaları Çoğunlukla biçimden; bağlantı dizelerindeki parolaların biçim ipucu yok
Kişisel tanımlayıcı bilgiler (PII) Adlar, e-postalar, telefon numaraları, resmî kimlik numaraları Yapılandırılmış kimliklerde biçimden, serbest metinde anlamdan
Korunan sağlık bilgileri (PHI) Teşhisler, reçeteler, klinik notlar Çoğu zaman bağlamdan: bir adın yanındaki teşhis
Finansal veriler Hesap numaraları, bakiyeler, işlemler Biçimden, ama daha seyrek hassas olarak değerlendirilir

Özet, “24+ models across 6 model families” (BroadRouter çevirisi: 6 model ailesinden 24’ten fazla model) test edildiğini bildiriyor ve net bir hiyerarşi buluyor: yapılandırılmış kimlik bilgileri ve Sosyal Güvenlik numaraları gibi biçime dayalı tanıma, bir teşhisin yanında hassaslaşan adlar gibi bağlama dayalı tanımadan çok daha güvenilir. Kimlik bilgisi sızıntı oranı %0 olan bir model, her PHI test çalıştırmasında hasta tanımlayıcılarını sızdırdı.

Sonuçlar nasıl puanlanmalı?

Makale asgari bir protokol öneriyor:

  1. İkili puanlama. Her çalıştırma ya güvenlidir ya değildir; “çoğunlukla güvenli” bir yanıt için kısmi puan yok.
  2. Sızıntı ve kaçırma ayrı puanlanır. İkisini tek bir sayıda birleştirmek, kullanım senaryonuz için önemli olanı gizler.
  3. Birden fazla çalıştırma. Model ve test senaryosu başına üç veya daha fazla; çünkü aynı model bir gün geçip ertesi gün sızdırabilir.
  4. Kategori kategori. Kimlik bilgilerindeki güvenlik, sağlık kayıtlarındaki güvenlik hakkında hiçbir şey söylemez.

BroadNet’in uygulayıcılara yönelik yazısı, pilot projelerde kullandığı işletim kurallarını ekliyor: yalnızca sentetik veri kullanın, tüm dağıtım yapılandırmasını (sistem istemi, araçlar ve veri getirme dahil) test edin, üretimden önce art arda beş temiz çalıştırma şartı koyun ve kendi barındırdığınız modelleri aylık, sık güncellenen üçüncü taraf modelleri haftalık olarak yeniden test edin.

Ne işe yaramadı?

İki yaygın çözüm, BroadNet’in testlerinde durumu kötüleştirdi:

  • İstem talimatları. “Kimlik bilgilerini açığa çıkarma” eklemek bazen yok sayıldı; en zorlayıcı istem stratejisi ise başlangıçta temiz olan bir modelde sızıntılara yol açtı.
  • Olumsuz örneklerle ince ayar. Bir modeli bir kategoriyi reddetmek üzere eğitmek, sızıntı oranlarını düşürmek yerine artırdı.

BroadNet’in anlatımına göre işe yarayan, üç katmanın birlikte kullanılmasıydı: kategori için daha düşük riskli bir model seçin, çıktıyı deterministik bir araçla filtreleyin (Microsoft Presidio ve LLM Guard’ı adıyla anıyor) ve görev değerlere ihtiyaç duymuyorsa istem oluşturulmadan önce girdiyi maskeleyin. Hassas verileri LLM API’sine gönderme rehberimiz maskeleme adımını kodla gösteriyor.

Makale neyi yayımlamıyor?

BroadNet, sorumlu yayın politikası gereği kategorileri, puanlama yaklaşımını, örneklem büyüklüklerini ve çekinceleri yayımlıyor; ancak tam istem şablonlarını, kimlik bilgisi biçimlerini veya geçti/kaldı eşiklerini yayımlamıyor. Gerekçesi: bunları yayımlamak, dağıtımı yapanların elinde bir savunma olmadan veri çekmek için gereken çabayı azaltır. Model sağlayıcıları ve güvenlik araştırmacıları bunları talep edebilir. Bu da yöntemi yapı olarak yeniden üretilebilir, ama sayı sayı değil, kılıyor.

Bunun BroadNet Inference ile bağlantısı ne?

Bu bir sağlayıcı değil, model testi. BroadNet Inference üzerindekiler dahil herhangi bir API’deki herhangi bir modele uygulanabilir. Tamamlayıcı makale Safety Map, yöntemi 14 laboratuvardan 39 modele uyguluyor ve hassas değerlerin araç çağrısı argümanları ve akıl yürütme alanları üzerinden de dışarı çıkabildiğini buluyor. BroadNet daha sonra iki makaleye dayanan açık kaynaklı bir güvenlik duvarı olan LSDF’yi yayımladı; Safety Map özetinde anlatılıyor.

Sağlayıcının veri saklaması ayrı bir soru: sıfır veri saklama, modelin sizin sistemlerinize ne yazdığını değil, BroadNet’in neyi sakladığını kapsıyor.

Sık sorulan sorular

Sızıntı ile kaçırma arasındaki fark nedir?

Sızıntı, modelin hassas bir değeri tekrarlamaması gereken bir yerde tekrarlamasıdır; örneğin bir API anahtarını bir rapora aynen yazması. Kaçırma ise görevi bu olduğu halde modelin hassas bir değeri işaretleyememesidir. BroadNet'in yöntemi ikisini ayrı puanlıyor, çünkü farklı riskler taşıyorlar.

Test kaç çalıştırma gerektirir?

Test senaryosu başına en az üç. BroadNet'in uygulama protokolü, bir modele üretim için güvenli demeden önce sağlayıcı tarafındaki değişiklikleri yakalamak üzere en az iki takvim gününe yayılmış art arda beş temiz çalıştırma ekliyor.

Sistem istemine "never reveal secrets" (asla sır açığa çıkarma) yazmak işe yarar mı?

Güvenilir biçimde değil. BroadNet'in testlerinde en zorlayıcı istem stratejisi, onsuz temiz olan bir modelde sızıntılara yol açtı; olumsuz örneklerle ince ayar da sızıntı oranlarını yükseltti.

BroadNet'in tam test istemlerini alabilir miyim?

Kamuya açık olarak hayır. BroadNet, sorumlu yayın politikası gereği tam istem şablonlarını, kimlik bilgisi biçimlerini ve geçti/kaldı eşiklerini yayımlamıyor; bunları talep üzerine model sağlayıcıları ve güvenlik araştırmacılarıyla paylaşıyor.

Sıfır veri saklama bu testi gereksiz kılar mı?

Hayır. Sıfır veri saklama, sağlayıcının neyi sakladığını denetler. Bu test ise modelin kendi çıktısına ne yazdığıyla ilgili; o çıktı da günlüklerinize, destek taleplerinize ve sonraki sistemlerinize gidiyor.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor