BroadRouter
Başlayın

Sıfır veri saklama (ZDR) LLM API: 10 soruluk kontrol listesi

BroadNet Inference ekibi · 5 dk okuma · Yayımlandı · Güncellendi

Sıfır veri saklamalı bir LLM API, istemlerinizi ve çıktılarınızı yalnızca istek için işler; sonrasında bunları loglarda, önbelleklerde veya eğitim setlerinde saklamaz. Neyin tutulduğunu (genellikle içerik içermeyen kullanım kayıtları), ne kadar süre, GPU'ları kimin işlettiğini ve saklamanın nasıl denetlendiğini sorun. BroadNet Inference istem, görsel, ses veya yanıt saklamaz ve ağ geçidi yapılandırmasının içerik saklamadığını saatlik kontrol eder.

A glass enclosure with an input entering and a response leaving, labelled "Private inference".

Kodlama ajanları depoların tamamını gönderir. Destek botları müşteri mesajlarını gönderir. Transkripsiyon hatları telefon görüşmelerini gönderir. Bunların herhangi biri bir LLM API’sine gitmeden önce biri mutlaka şunu soracaktır: yanıt geldikten sonra bu verilere ne oluyor? “Sıfır veri saklama” (ZDR) herkesin duymak istediği cevaptır; ancak bu ifade birbirinden çok farklı uygulamaları kapsar.

Sıfır veri saklama neleri kapsamalı?

İstekten sonra yaşamaması gereken içerik:

  • İstemler, sistem istemleri ve araç sonuçları
  • Görseller ve ses
  • Model çıktıları ve transkriptler
  • Hata ayıklama logları dahil, istek ve yanıt gövdelerinin tamamı
  • Ham URL’ler, sorgu dizeleri ve kimlik doğrulama değerleri

Normalde tutulan ve içerik içermemesi gereken kayıtlar:

  • İstek kimlikleri, süreler, HTTP durumu, bayt sayıları
  • Hesap ve anahtar kimlikleri, model, token sayıları, maliyet
  • Güvenlik için istemci IP adresleri

Bir sağlayıcı her kalemin hangi listede olduğunu söyleyemiyorsa bunu “hayır” olarak kabul edin.

Eğitim, saklama ve ZDR aynı taahhüt mü?

Taahhüt Ne anlama gelir Ne anlama gelmez
“Eğitimde kullanılmaz” Verileriniz gelecekteki modelleri eğitmez Bir süre saklanabilir
“N gün saklanır” İçerik tutulur, sonra silinir Bu sürede personel veya sistemler erişebilir
“Sıfır veri saklama” İçerik istekten sonra saklanmaz Meta veriler yine tutulur

Büyük sağlayıcılar farkın neden önemli olduğunu gösteriyor. Birkaç sağlayıcının resmî ifadelerini yan yana görmek için LLM API veri saklama karşılaştırması yazısına bakın. OpenAI’ın veri kontrolleri sayfası, 1 Mart 2023’ten bu yana API verilerinin varsayılan olarak modellerini eğitmekte kullanılmadığını söylüyor. Aynı sayfa kötüye kullanım izleme loglarının “are retained for up to 30 days” (BroadRouter çevirisi: “30 güne kadar saklandığını”), ZDR kontrollerinin “are subject to prior approval by OpenAI” (BroadRouter çevirisi: “OpenAI’ın ön onayına tabi olduğunu”) ve dosyalar, asistanlar ve toplu işler gibi durum (state) saklayan uç noktaların uygun olmadığını da belirtiyor. Bir sağlayıcı üç konuda da dürüst olup yine de içeriğinizi varsayılan olarak bir ay saklayabilir.

ZDR taahhütlerinde boşluklar genellikle nerede?

  • Uygunluk. ZDR onay, belirli bir plan veya sözleşme gerektirebilir ve açılana kadar kapalıdır.
  • Uç nokta kapsamı. Sohbet kapsama girerken dosya depolama, toplu işler veya ince ayar girmeyebilir.
  • Güvenlik istisnaları. Örneğin OpenRouter’ın SSS sayfası ZDR’yi “no routine storage of prompts or responses after processing, apart from a CSAM exception” (BroadRouter çevirisi: “bir CSAM istisnası dışında, işlemden sonra istem veya yanıtların rutin olarak saklanmaması”) olarak tanımlıyor.
  • Modelin üstündeki katmanlar. Aradaki bir ağ geçidi, yönlendirici veya gözlemlenebilirlik aracı, model sağlayıcısı loglamasa bile istemleri loglayabilir. Her katmana sorun.
  • Kendi sistemleriniz. Uygulama loglarınız, hata izleyicileriniz ve analitik araçlarınız çoğu zaman sağlayıcıdan daha fazla içerik tutar.

Bir sağlayıcıya hangi 10 soruyu sormalısınız?

  1. İstemler ve çıktılar istekten sonra saklanıyor mu? Herhangi bir yerde? Loglar, önbellekler, kuyruklar ve yedekler dahil.
  2. Herhangi bir içerik eğitim veya değerlendirme için kullanılıyor mu? Sizin tarafınızdan ya da bir model sağlayıcısı tarafından?
  3. Alan alan neleri tutuyorsunuz? Listeyi isteyin.
  4. Kullanım kayıtları ne kadar süre ve neden tutuluyor?
  5. GPU’ları kim işletiyor? Sağlayıcınız mı, bir bulut mu, yoksa bir aracının aracısı mı?
  6. Hangi alt işleyenler istek içeriğini görebiliyor?
  7. Saklama nasıl doğrulanıyor? Bir politikayla mı, otomatik bir kontrolle mi?
  8. Anahtarlar IP adreslerime kilitlenebiliyor mu? Sızan bir anahtar da bir veri yoludur.
  9. Donanım nerede ve bölgesel yerleşim mümkün mü?
  10. Bir destek talebinde ne oluyor? Bir hata bildirdiğinizde personel içeriği görebiliyor mu?

Cevapları yazılı isteyin ve hangi belgenin onları bağlayıcı kıldığını not edin: hizmet şartları, gizlilik bildirimi veya imzalı bir sözleşme.

BroadNet Inference bu soruları nasıl yanıtlıyor?

Soru BroadNet Inference
İstemler, görseller, ses, yanıtlar saklanıyor mu Hayır; istek için işlenir ve saklanmaz
Verilerinizle eğitim Hayır; gizlilik bildirimi çıkarım verileriyle eğitim, ince ayar ve değerlendirmeyi hariç tutuyor
Neler tutuluyor İçerik içermeyen trafik, kullanım ve hesap kayıtları (tam liste)
Kayıtlar ne kadar tutuluyor Faturalandırma, vergi, güvenlik ve yasal yükümlülükler ne kadar gerektiriyorsa
Doğrulama Ağ geçidi yapılandırmasının içeriksiz çalışma için saatlik kontrolü
Donanım Gizlilik beyanına göre barındırılan modeller “run on BroadNet-owned or leased hardware in the United States, with partner capacity as backup” (ABD’de BroadNet’e ait veya kiralanmış donanımda, yedek olarak ortak kapasitesiyle çalışır); ortaklar üzerinden sunulan modeller ABD’li çıkarım ortaklarıyla ZDR koşullarında çalışır
Veri yerleşimi Yerleşim gereksinimi olan verileri göndermeden önce işleme konumlarını BroadNet ile kararlaştırın (GDPR kontrol listesi)
Anahtar koruması IP izin listeleri, en fazla 32 kayıt; değişiklikler ve iptaller beş saniye içinde yeni isteklere uygulanır
Saklanan anahtarlar Yalnızca SHA-256 hash’leri; ham anahtar bir kez gösterilir

BroadNet’in belgeleri sıfır veri saklamayı “built into how we serve requests, not only stated in policy” (BroadRouter çevirisi: “yalnızca politikada yazılı değil, istekleri sunma biçimimize yerleşik”) olarak tanımlıyor. Her isteğe uygulanır, açılması gereken bir ayar yoktur. Ayrıntılar gizlilik bildiriminde.

ZDR konuşmayı ve Arapça sesi de kapsıyor mu?

Ses, çoğu ürünün işlediği en hassas girdidir: bir sesli not on saniyede bir isim, bir telefon numarası ve bir sağlık bilgisi içerebilir. Görüşmeleri veya WhatsApp sesli notlarını metne çeviriyorsanız aynı on soruyu ses ve transkriptler için de sorun. Bkz. Arapça konuşmadan metne alıcı rehberi.

Bir sağlayıcının cevapları nasıl kontrol edilir?

  1. Yalnızca pazarlama sayfasını değil, gizlilik bildirimini ve API referansını okuyun. Alan alan bir liste arayın.
  2. Kapsamı kontrol edin. Taahhüt hangi modelleri, uç noktaları ve planları kapsıyor?
  3. API’nin ne döndürdüğüne bakın. Bir panel geçmiş istemlerinizi gösteriyorsa bunlar bir yerde saklanıyordur.
  4. Destek sürecini sorun. Talep açtığınızda kim neyi görebiliyor?
  5. Cevapları tedarikçi kaydınıza yazın; bağlantılarla ve kontrol ettiğiniz tarihle birlikte.

ZDR neyi çözmez?

Sıfır veri saklama, isteğiniz sağlayıcıya ulaştıktan sonra olanları korur. Yine de şunları yapmanız gerekir:

  • API anahtarlarını tarayıcılarda veya mobil uygulamalarda değil, sunucularda tutun
  • Bir IP izin listesiyle anahtarları çıkış IP’lerinize kilitleyin
  • Kart numaraları gibi modelin ihtiyaç duymadığı bilgileri maskeleyin (göndermeden önce nasıl maskelenir)
  • İstek kimliklerini kendi tarafınızda loglayın; böylece sağlayıcı içerik saklamadan hata ayıklayabilirsiniz. Destek ekibine ne gönderileceğini hatalar rehberi gösteriyor

Bir uygulamayı bir sağlayıcıdan diğerine taşırken bu kontrolleri geçiş kontrol listesine ekleyin. Bir ağ geçidi üzerinden yönlendirme yapıyorsanız ona da aynı soruları sorun; OpenRouter karşılaştırması bir yönlendiricinin ZDR’yi nasıl ele aldığını gösteriyor.

BroadNet Inference nereye uyuyor?

BroadNet Inference, başvuru yapmadan her istekte ZDR isteyen ekiplere uyar; gizlilik beyanına göre ABD’li çıkarım ortaklarıyla sıfır veri saklama koşullarında çalışan, ortaklarca barındırılan modeller de buna dahil. Her sağlayıcı gibi faturalandırma ve güvenlik için içerik içermeyen kayıtlar tutar. Verilerinizin belirli bir bölgede işlenmesi gerekiyorsa veri göndermeden önce işleme konumlarını BroadNet ile kararlaştırın; kendi modelleri ve barındırdığı modeller için varsayılan konum ABD’dir.

Sık sorulan sorular

LLM API'de sıfır veri saklama ne demek?

Sağlayıcı, isteği yanıtlamak için istemlerinizi, dosyalarınızı ve çıktılarınızı işler; sonrasında bu içeriği loglar, önbellekler, yedekler veya eğitim setleri dahil hiçbir yerde saklamaz. Süreler ve token sayıları gibi içerik içermeyen kayıtlar genellikle yine tutulur.

Sıfır veri saklama hiç log tutulmadığı anlamına mı gelir?

Hayır. Sağlayıcılar süreler, token sayıları, maliyet, durum kodları ve IP adresleri gibi operasyonel kayıtları tutar. Sıfır veri saklama, bu kayıtların istem veya çıktı içeriği barındırmadığı anlamına gelir.

"Verilerinizle model eğitmiyoruz" demek sıfır veri saklama demek mi?

Hayır. Bir sağlayıcı API verileriyle eğitim yapmayacağını taahhüt edip bu verileri yine de bir süre, örneğin kötüye kullanım izleme için saklayabilir. OpenAI'ın belgelerine göre API verileri varsayılan olarak eğitimde kullanılmaz ve kötüye kullanım izleme logları 30 güne kadar saklanır.

BroadNet Inference'ta istemlerim model eğitmek için kullanılıyor mu?

Hayır. BroadNet'in gizlilik bildirimi, çıkarım verilerini "to train, fine-tune or evaluate models" (BroadRouter çevirisi: "model eğitmek, ince ayar yapmak veya değerlendirmek için") kullanmadığını söylüyor; istemler, görseller, ses, yanıtlar ve transkriptler istekten sonra saklanmaz.

Sıfır veri saklama GDPR için yeterli mi?

Yardımcı olur ama tek başına meseleyi çözmez. Yine de hukuki bir dayanağa, işleme faaliyetleri kaydına ve her veri işleyenle bir sözleşmeye ihtiyacınız vardır. Veri koruma sorumlunuza danışın; ZDR sağlayıcının elinde tuttuklarını azaltır, sizin yükümlülüklerinizi değil.

BroadNet modellerini nerede çalıştırıyor?

BroadNet'in gizlilik bildirimine göre kendi modelleri ve barındırdığı açık ağırlıklı modeller, ABD'de BroadNet'in sahip olduğu veya kiraladığı donanımda çalışır; ortak kapasitesi yedek olarak kullanılır. Ortaklar üzerinden sunulan modeller, ABD'li çıkarım ortaklarıyla sıfır veri saklama koşullarında çalışır. Veri yerleşimi gereksinimi olan verileri göndermeden önce işleme konumlarını BroadNet ile kararlaştırın.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor