BroadRouter

Zero data retention sa LLM API: checklist na may 10 tanong

Ng BroadNet Inference team · 5 minutong basa · Nailathala · Na-update

Ang LLM API na may zero data retention ay pinoproseso ang prompt at output mo para sa request, at hindi na ito itinatago pagkatapos, sa logs, cache o training set man. Itanong kung ano ang itinatago (karaniwang usage record na walang content), gaano katagal, sino ang nagpapatakbo ng GPU at paano sinusuri ang retention. Walang itinatagong prompt, larawan, audio o sagot ang BroadNet Inference, at kada oras nitong sinusuri ang configuration ng gateway.

A glass enclosure with an input entering and a response leaving, labelled "Private inference".

Buong repository ang ipinapadala ng mga coding agent. Mensahe ng customer ang ipinapadala ng mga support bot. Mga tawag sa telepono ang ipinapadala ng mga transcription pipeline. Bago mapunta ang alinman diyan sa isang LLM API, may magtatanong: ano ang mangyayari dito pagkabalik ng sagot? “Zero data retention” (ZDR) ang sagot na gustong marinig ng mga tao, pero napakaraming magkakaibang praktika ang saklaw ng pariralang iyan.

Ano dapat ang saklaw ng zero data retention?

Content na hindi dapat tumagal nang lampas sa request:

  • Prompt, system prompt at resulta ng tool
  • Larawan at audio
  • Output ng model at transcript
  • Buong request at response body, kasama sa debug logs
  • Raw na URL, query string at authentication value

Mga record na karaniwang itinatago, at dapat walang content:

  • Request ID, timing, HTTP status, bilang ng byte
  • Account at key ID, model, bilang ng token, gastos
  • IP address ng client, para sa seguridad

Kung hindi masabi sa iyo ng provider kung saang listahan napupunta ang bawat item, ituring iyon na “hindi”.

Pareho bang pangako ang training, retention at ZDR?

Pangako Ano ang ibig sabihin Ano ang hindi ibig sabihin
“Hindi ginagamit sa training” Hindi gagamitin ang data mo para mag-train ng mga susunod na model Puwede pa rin itong itago nang ilang panahon
“Itinatago nang N araw” Itinatago ang content, saka binubura Puwede itong ma-access ng staff o system habang hinihintay iyon
“Zero data retention” Hindi itinatago ang content pagkatapos ng request Itinatago pa rin ang metadata

Ipinapakita ng malalaking provider kung bakit mahalaga ang pagkakaiba. Para sa magkatabing paghahambing ng opisyal na pananalita ng ilang provider, tingnan ang data retention ng mga LLM API, pinaghambing. Sabi ng data controls page ng OpenAI, mula Marso 1, 2023, hindi na ginagamit by default ang API data para i-train ang mga model nito. Sabi rin ng parehong page na ang abuse monitoring logs ay “are retained for up to 30 days” (salin: itinatago nang hanggang 30 araw), na ang ZDR controls ay “are subject to prior approval by OpenAI” (salin: kailangan munang aprubahan ng OpenAI), at na hindi kuwalipikado ang mga endpoint na nagtatago ng state, gaya ng files, assistants at batches. Puwedeng tapat ang provider sa tatlong puntong iyan at itago pa rin ang content mo nang isang buwan by default.

Saan kadalasang may butas ang mga pangako ng ZDR?

  • Eligibility. Puwedeng kailangan ng ZDR ng approval, partikular na plan o kontrata, at naka-off ito hangga’t hindi ini-on.
  • Saklaw ng endpoint. Puwedeng kuwalipikado ang chat pero hindi ang file storage, batches o fine-tuning.
  • Safety carve-out. Halimbawa, ang FAQ ng OpenRouter ay nagdedepina sa ZDR bilang “no routine storage of prompts or responses after processing, apart from a CSAM exception” (salin: walang karaniwang pag-iimbak ng prompt o response pagkatapos ng processing, maliban sa isang CSAM exception).
  • Mga layer sa itaas ng model. Puwedeng mag-log ng prompt ang gateway, router o observability tool na nasa gitna kahit hindi ito ginagawa ng model provider. Tanungin ang bawat layer.
  • Sarili mong system. Kadalasang mas maraming content ang itinatago ng app logs, error tracker at analytics mo kaysa sa provider.

Anong 10 tanong ang dapat mong itanong sa provider?

  1. Itinatago ba ang prompt at output pagkatapos ng request? Kahit saan? Isama ang logs, cache, queue at backup.
  2. May content bang ginagamit sa training o evaluation? Ninyo o ng isang model vendor?
  3. Ano ang itinatago ninyo, field por field? Hingin ang listahan.
  4. Gaano katagal itinatago ang usage record, at bakit?
  5. Sino ang nagpapatakbo ng GPU? Ang provider mo, isang cloud, o reseller ng isang reseller?
  6. Aling mga subprocessor ang nakakakita ng content ng request?
  7. Paano sinusuri ang retention? Patakaran lang ba, o automated na check?
  8. Puwede bang i-lock ang mga key sa IP address ko? Daan din ng data ang na-leak na key.
  9. Nasaan ang hardware, at puwede bang pumili ng rehiyon?
  10. Ano ang nangyayari sa support ticket? Nakikita ba ng staff ang content kapag nag-report ka ng bug?

Hingin nang nakasulat ang mga sagot, at itala kung aling dokumento ang nagpapatibay sa mga ito: ang terms, ang privacy statement o isang pinirmahang kasunduan.

Paano sinasagot ng BroadNet Inference ang mga ito?

Tanong BroadNet Inference
Itinatago ba ang prompt, larawan, audio, sagot Hindi; pinoproseso para sa request at hindi itinatago
Training sa data mo Hindi; ipinagbabawal ng privacy statement ang training, fine-tuning at evaluation sa inference data
Ano ang itinatago Traffic, usage at account record na walang content (buong listahan)
Gaano katagal itinatago ang record Hangga’t kailangan para sa billing, buwis, seguridad at legal na obligasyon
Pagsuri Kada oras na pagsuri sa configuration ng gateway para sa operasyong walang content
Hardware Sabi ng privacy statement, tumatakbo ang mga hosted na model sa “BroadNet-owned or leased hardware in the United States, with partner capacity as backup” (salin: hardware na pag-aari o inuupahan ng BroadNet sa United States, na may partner capacity bilang backup); tumatakbo ang mga model na partner ang nagse-serve sa ilalim ng ZDR terms kasama ang mga inference partner sa US
Data residency Magkasundo sa processing location kasama ang BroadNet bago magpadala ng data na may residency requirement (GDPR checklist)
Proteksyon ng key IP allow-list, hanggang 32 entry; umeepekto ang mga pagbabago at revocation sa bagong request sa loob ng limang segundo
Mga nakatagong key SHA-256 hash lang; isang beses lang ipinapakita ang raw key

Inilalarawan ng docs ng BroadNet ang zero data retention bilang “built into how we serve requests, not only stated in policy” (salin: nakapaloob sa paraan ng pag-serve namin ng request, hindi lang nakasaad sa patakaran). Sakop nito ang bawat request, at walang setting na kailangang i-on. Nasa privacy statement ang mga detalye.

Saklaw ba ng ZDR ang speech at Arabic audio?

Boses ang pinakasensitibong input na hinahawakan ng karamihan ng produkto: sa loob ng sampung segundo, puwedeng maglaman ang voice note ng pangalan, numero ng telepono at detalye tungkol sa kalusugan. Kung nagta-transcribe ka ng mga tawag o WhatsApp voice note, itanong ang parehong sampung tanong tungkol sa audio at transcript. Tingnan ang buyer’s guide sa Arabic speech-to-text.

Paano susuriin ang mga sagot ng provider?

  1. Basahin ang privacy statement at API reference, hindi lang ang marketing page. Hanapin ang listahan na field por field.
  2. Suriin ang saklaw. Aling mga model, endpoint at plan ang sakop ng pangako?
  3. Tingnan ang ibinabalik ng API. Kung nakikita sa isang dashboard ang mga dati mong prompt, may pinagtataguan ang mga ito.
  4. Magtanong tungkol sa proseso ng support. Sino ang nakakakita ng ano kapag nagbukas ka ng ticket?
  5. Isulat ang mga sagot sa vendor record mo, kasama ang mga link at ang petsa ng pagsuri mo.

Ano ang hindi naaayos ng ZDR?

Pinoprotektahan ng zero data retention ang nangyayari pagkatapos makarating ang request mo sa provider. Kailangan mo pa ring:

  • Itago ang API key sa mga server, hindi kailanman sa browser o mobile app
  • I-lock ang mga key sa egress IP mo gamit ang IP allow-list
  • I-redact ang hindi kailangan ng model, gaya ng numero ng card (paano mag-redact bago magpadala)
  • Mag-log ng request ID sa panig mo, para makapag-debug ka nang hindi nagtatago ng content ang provider; ipinapakita ng gabay sa errors kung ano ang ipapadala sa support

Kapag inililipat mo ang app mula sa isang provider papunta sa iba, idagdag ang mga check na ito sa migration checklist. Kung dumadaan ka sa isang gateway, itanong din dito ang parehong mga tanong; ipinapakita ng paghahambing sa OpenRouter kung paano hinahawakan ng isang router ang ZDR.

Saan bagay ang BroadNet Inference

Bagay ang BroadNet Inference sa mga team na gusto ng ZDR sa bawat request nang hindi na nag-a-apply para dito, kasama ang mga partner-hosted na model, na sabi ng privacy statement nito ay tumatakbo sa ilalim ng zero-data-retention terms kasama ang mga inference partner sa US. Nagtatago ito ng mga record na walang content para sa billing at seguridad, gaya ng ginagawa ng bawat provider. Kung kailangan mong ma-proseso ang data mo sa isang partikular na rehiyon, magkasundo muna sa processing location kasama ang BroadNet bago ka magpadala ng data; US ang default para sa sarili at hosted nitong mga model.

Mga tanong

Ano ang ibig sabihin ng zero data retention sa isang LLM API?

Pinoproseso ng provider ang prompt, file at output mo para sagutin ang request, at hindi na nito itinatago ang content na iyon pagkatapos, kasama sa logs, cache, backup o training set. Karaniwang itinatago pa rin ang mga record na walang content, gaya ng timing at bilang ng token.

Ibig bang sabihin ng zero data retention ay walang logs talaga?

Hindi. Nagtatago ang mga provider ng operational record gaya ng timing, bilang ng token, gastos, status code at IP address. Ang ibig sabihin ng zero data retention ay walang prompt o output content sa mga record na iyon.

Pareho ba ang "hindi namin tine-train ang data mo" at zero data retention?

Hindi. Puwedeng mangako ang provider na hindi magte-train sa API data pero itago pa rin ito nang ilang panahon, halimbawa para sa abuse monitoring. Ayon sa docs ng OpenAI, hindi ginagamit sa training ang API data by default, at itinatago ang abuse monitoring logs nang hanggang 30 araw.

Ginagamit ba ang mga prompt ko para mag-train ng model sa BroadNet Inference?

Hindi. Sabi ng privacy statement ng BroadNet, hindi nito ginagamit ang inference data "to train, fine-tune or evaluate models" (salin: para mag-train, mag-fine-tune o mag-evaluate ng mga model), at hindi itinatago ang prompt, larawan, audio, sagot at transcript pagkatapos ng request.

Sapat na ba ang zero data retention para sa GDPR?

Nakakatulong ito pero hindi nito naaayos ang lahat nang mag-isa. Kailangan mo pa rin ng lawful basis, record of processing at kasunduan sa bawat processor. Magtanong sa data protection lead mo; binabawasan ng ZDR ang hawak ng provider, hindi ang sarili mong obligasyon.

Saan pinapatakbo ng BroadNet ang mga model nito?

Sabi ng privacy statement ng BroadNet, tumatakbo ang sarili at hosted nitong open-weight model sa hardware na pag-aari o leased ng BroadNet sa United States, at partner capacity ang backup. Tumatakbo ang mga model na partner ang nagse-serve sa ilalim ng zero-data-retention terms kasama ang mga inference partner sa US. Makipag-ugnayan sa BroadNet para magkasundo sa processing location bago magpadala ng data na may residency requirement.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity