BroadRouter
Mulakan

API LLM dengan pengekalan data sifar: senarai semak 10 soalan

Oleh pasukan BroadNet Inference · 5 minit bacaan · Diterbitkan · Dikemas kini

API LLM dengan pengekalan data sifar memproses prompt dan output anda untuk permintaan itu dan tidak menyimpannya selepas itu, sama ada dalam log, cache atau set latihan. Tanya apa yang disimpan (biasanya rekod penggunaan tanpa kandungan), berapa lama, siapa yang mengendalikan GPU dan bagaimana pengekalan disemak. BroadNet Inference tidak menyimpan prompt, imej, audio atau jawapan dan menyemak setiap jam bahawa konfigurasi gateway-nya tidak menyimpan kandungan.

A glass enclosure with an input entering and a response leaving, labelled "Private inference".

Ejen pengekodan menghantar keseluruhan repositori. Bot sokongan menghantar mesej pelanggan. Saluran transkripsi menghantar panggilan telefon. Sebelum semua itu dihantar ke API LLM, seseorang akan bertanya: apa yang berlaku kepadanya selepas jawapan diterima? “Pengekalan data sifar” (zero data retention, ZDR) ialah jawapan yang ingin didengar, tetapi frasa itu merangkumi amalan yang sangat berbeza.

Apakah yang patut diliputi oleh pengekalan data sifar?

Kandungan yang tidak patut kekal selepas permintaan:

  • Prompt, prompt sistem dan hasil alat
  • Imej dan audio
  • Output model dan transkrip
  • Badan permintaan dan respons penuh, termasuk dalam log nyahpepijat
  • URL mentah, rentetan pertanyaan dan nilai pengesahan

Rekod yang biasanya disimpan, dan sepatutnya tanpa kandungan:

  • ID permintaan, masa, status HTTP, kiraan bait
  • ID akaun dan kunci, model, kiraan token, kos
  • Alamat IP klien, untuk keselamatan

Jika penyedia tidak dapat memberitahu anda senarai mana setiap item berada, anggap itu sebagai “tidak”.

Adakah latihan, pengekalan dan ZDR janji yang sama?

Janji Maksudnya Apa yang bukan maksudnya
“Tidak digunakan untuk latihan” Data anda tidak akan melatih model akan datang Ia mungkin masih disimpan untuk seketika
“Disimpan selama N hari” Kandungan disimpan, kemudian dipadam Kakitangan atau sistem mungkin mengaksesnya sementara itu
“Pengekalan data sifar” Kandungan tidak disimpan selepas permintaan Metadata masih disimpan

Penyedia besar menunjukkan mengapa perbezaan ini penting. Untuk perbandingan bersebelahan kata-kata rasmi beberapa penyedia, lihat pengekalan data API LLM dibandingkan. Halaman kawalan data OpenAI menyatakan bahawa sejak 1 Mac 2023, data API tidak digunakan untuk melatih modelnya secara lalai. Halaman yang sama menyatakan log pemantauan penyalahgunaan “are retained for up to 30 days” (Terjemahan: disimpan sehingga 30 hari), bahawa kawalan ZDR “are subject to prior approval by OpenAI” (Terjemahan: tertakluk kepada kelulusan awal OpenAI), dan bahawa endpoint yang menyimpan keadaan, seperti files, assistants dan batches, tidak layak. Penyedia boleh jujur tentang ketiga-tiga perkara itu dan masih menyimpan kandungan anda selama sebulan secara lalai.

Di manakah janji ZDR biasanya ada kelompangan?

  • Kelayakan. ZDR mungkin memerlukan kelulusan, pelan tertentu atau kontrak, dan dimatikan sehingga dihidupkan.
  • Skop endpoint. Chat mungkin layak manakala storan fail, batch atau penalaan halus tidak.
  • Pengecualian keselamatan. Soalan lazim OpenRouter, sebagai contoh, mentakrifkan ZDR sebagai “no routine storage of prompts or responses after processing, apart from a CSAM exception” (Terjemahan: tiada penyimpanan rutin prompt atau respons selepas pemprosesan, kecuali satu pengecualian CSAM).
  • Lapisan di atas model. Gerbang, penghala atau alat pemerhatian di tengah mungkin merekod prompt walaupun penyedia model tidak. Tanya setiap lapisan.
  • Sistem anda sendiri. Log aplikasi, penjejak ralat dan analitik anda selalunya menyimpan lebih banyak kandungan berbanding penyedia.

Apakah 10 soalan yang patut anda tanya kepada penyedia?

  1. Adakah prompt dan output disimpan selepas permintaan? Di mana-mana sahaja? Termasuk log, cache, baris gilir dan sandaran.
  2. Adakah sebarang kandungan digunakan untuk latihan atau penilaian? Oleh anda atau oleh vendor model?
  3. Apa yang anda simpan, medan demi medan? Minta senarainya.
  4. Berapa lama rekod penggunaan disimpan, dan mengapa?
  5. Siapa yang mengendalikan GPU? Penyedia anda, sebuah awan, atau penjual semula kepada penjual semula?
  6. Subpemproses mana yang boleh melihat kandungan permintaan?
  7. Bagaimanakah pengekalan disahkan? Satu dasar, atau semakan automatik?
  8. Bolehkah kunci dikunci pada alamat IP saya? Kunci yang bocor juga satu laluan data.
  9. Di manakah perkakasan itu, dan adakah penempatan serantau tersedia?
  10. Apa yang berlaku pada tiket sokongan? Bolehkah kakitangan melihat kandungan apabila anda melaporkan pepijat?

Minta jawapan secara bertulis, dan catat dokumen mana yang menjadikannya mengikat: terma, pernyataan privasi atau perjanjian yang ditandatangani.

Bagaimanakah BroadNet Inference menjawabnya?

Soalan BroadNet Inference
Prompt, imej, audio, jawapan disimpan Tidak; diproses untuk permintaan dan tidak disimpan
Latihan menggunakan data anda Tidak; pernyataan privasi menolak latihan, penalaan halus dan penilaian menggunakan data inferens
Apa yang disimpan Rekod trafik, penggunaan dan akaun tanpa kandungan (senarai penuh)
Berapa lama rekod disimpan Selama yang diperlukan oleh kewajipan pengebilan, cukai, keselamatan dan undang-undang
Pengesahan Semakan konfigurasi gateway setiap jam untuk operasi tanpa kandungan
Perkakasan Pernyataan privasi menyatakan model yang dihoskan berjalan pada “BroadNet-owned or leased hardware in the United States, with partner capacity as backup” (Terjemahan: perkakasan milik BroadNet atau yang dipajak di Amerika Syarikat, dengan kapasiti rakan kongsi sebagai sandaran); model yang disediakan rakan kongsi berjalan di bawah terma ZDR dengan rakan kongsi inferens di AS
Residensi data Bersetuju tentang lokasi pemprosesan dengan BroadNet sebelum menghantar data yang tertakluk kepada keperluan residensi (senarai semak GDPR)
Perlindungan kunci Senarai IP dibenarkan, sehingga 32 entri; perubahan dan pembatalan terpakai pada permintaan baharu dalam masa lima saat
Kunci yang disimpan Hash SHA-256 sahaja; kunci mentah ditunjukkan sekali

Dokumentasi BroadNet menerangkan pengekalan data sifar sebagai “built into how we serve requests, not only stated in policy” (Terjemahan: terbina dalam cara kami menyediakan permintaan, bukan sekadar dinyatakan dalam dasar). Ia terpakai pada setiap permintaan, tanpa tetapan yang perlu dihidupkan. Butirannya ada dalam pernyataan privasi.

Adakah ZDR meliputi pertuturan dan audio bahasa Arab?

Suara ialah input paling sensitif yang dikendalikan oleh kebanyakan produk: nota suara boleh mengandungi nama, nombor telefon dan butiran kesihatan dalam masa sepuluh saat. Jika anda mentranskripsi panggilan atau nota suara WhatsApp, tanya sepuluh soalan yang sama tentang audio dan transkrip. Lihat panduan pembeli speech-to-text bahasa Arab.

Bagaimanakah anda menyemak jawapan penyedia?

  1. Baca pernyataan privasi dan rujukan API, bukan hanya halaman pemasaran. Cari senarai medan demi medan.
  2. Semak skop. Model, endpoint dan pelan mana yang diliputi oleh janji itu?
  3. Lihat apa yang dipulangkan oleh API. Jika papan pemuka menunjukkan prompt lama anda, ia disimpan di suatu tempat.
  4. Tanya tentang proses sokongan. Siapa boleh melihat apa apabila anda membuka tiket?
  5. Tulis jawapan dalam rekod vendor anda, dengan pautan dan tarikh anda menyemak.

Apakah yang tidak diselesaikan oleh ZDR?

Pengekalan data sifar melindungi apa yang berlaku selepas permintaan anda sampai kepada penyedia. Anda masih perlu:

  • Menyimpan kunci API di pelayan, jangan sekali-kali dalam pelayar atau aplikasi mudah alih
  • Mengunci kunci pada IP keluar anda dengan senarai IP dibenarkan
  • Menyunting keluar apa yang tidak diperlukan oleh model, seperti nombor kad (cara menyunting sebelum menghantar)
  • Merekod ID permintaan di pihak anda, supaya anda boleh menyahpepijat tanpa penyedia menyimpan kandungan; panduan ralat menunjukkan apa yang perlu dihantar kepada sokongan

Apabila anda memindahkan aplikasi dari satu penyedia ke penyedia lain, tambah semakan ini ke dalam senarai semak migrasi. Jika anda menghala melalui gerbang, tanya soalan yang sama kepadanya; perbandingan OpenRouter menunjukkan bagaimana satu penghala mengendalikan ZDR.

Di manakah BroadNet Inference sesuai

BroadNet Inference sesuai untuk pasukan yang mahukan ZDR pada setiap permintaan tanpa perlu memohon, termasuk pada model yang dihoskan rakan kongsi, yang menurut pernyataan privasinya berjalan di bawah terma pengekalan data sifar dengan rakan kongsi inferens di AS. Ia menyimpan rekod tanpa kandungan untuk pengebilan dan keselamatan, seperti setiap penyedia. Jika anda memerlukan data anda diproses di rantau tertentu, bersetuju tentang lokasi pemprosesan dengan BroadNet sebelum menghantar data; lalai bagi model miliknya dan yang dihoskannya ialah AS.

Soalan lazim

Apakah maksud pengekalan data sifar bagi API LLM?

Penyedia memproses prompt, fail dan output anda untuk menjawab permintaan dan tidak menyimpan kandungan itu selepas itu, termasuk dalam log, cache, sandaran atau set latihan. Rekod tanpa kandungan seperti masa dan kiraan token biasanya masih disimpan.

Adakah pengekalan data sifar bermaksud tiada log langsung?

Tidak. Penyedia menyimpan rekod operasi seperti masa, kiraan token, kos, kod status dan alamat IP. Pengekalan data sifar bermaksud rekod itu tidak mengandungi kandungan prompt atau output.

Adakah "kami tidak melatih model dengan data anda" sama dengan pengekalan data sifar?

Tidak. Penyedia boleh berjanji untuk tidak melatih model dengan data API tetapi masih menyimpannya untuk suatu tempoh, contohnya untuk pemantauan penyalahgunaan. Dokumentasi OpenAI menyatakan data API tidak digunakan untuk latihan secara lalai, dan log pemantauan penyalahgunaan disimpan sehingga 30 hari.

Adakah prompt saya digunakan untuk melatih model di BroadNet Inference?

Tidak. Pernyataan privasi BroadNet menyatakan ia tidak menggunakan data inferens "to train, fine-tune or evaluate models" (Terjemahan: untuk melatih, menala halus atau menilai model), dan prompt, imej, audio, jawapan dan transkrip tidak disimpan selepas permintaan.

Adakah pengekalan data sifar mencukupi untuk GDPR?

Ia membantu tetapi tidak menyelesaikannya dengan sendiri. Anda masih memerlukan asas yang sah, rekod pemprosesan dan perjanjian dengan setiap pemproses. Tanya ketua perlindungan data anda; ZDR mengurangkan apa yang dipegang oleh penyedia, bukan kewajipan anda sendiri.

Di manakah BroadNet menjalankan modelnya?

Pernyataan privasi BroadNet menyatakan model open-weight miliknya dan yang dihoskannya berjalan pada perkakasan milik BroadNet atau yang dipajak di Amerika Syarikat, dengan kapasiti rakan kongsi sebagai sandaran. Model yang disediakan rakan kongsi berjalan di bawah terma pengekalan data sifar dengan rakan kongsi inferens di AS. Hubungi BroadNet untuk bersetuju tentang lokasi pemprosesan sebelum menghantar data yang tertakluk kepada keperluan residensi.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity