BroadRouter
Inizia

API LLM con zero data retention: una checklist di 10 domande

A cura del team di BroadNet Inference · 5 min di lettura · Pubblicato · Aggiornato

Un’API LLM con zero data retention elabora prompt e output per la richiesta e poi non li conserva, né nei log né nelle cache né nei set di addestramento. Chiedi cosa viene tenuto (di solito registri di utilizzo senza contenuti), per quanto tempo, chi gestisce le GPU e come si verifica la conservazione. BroadNet Inference non conserva prompt, immagini, audio o risposte e controlla ogni ora che la configurazione del suo gateway non conservi contenuti.

A glass enclosure with an input entering and a response leaving, labelled "Private inference".

Gli agenti di coding inviano interi repository. I bot di assistenza inviano i messaggi dei clienti. Le pipeline di trascrizione inviano telefonate. Prima che tutto questo arrivi a un’API LLM, qualcuno chiederà: che fine fa dopo che è arrivata la risposta? «Zero data retention» (ZDR) è la risposta che tutti vogliono sentire, ma l’espressione copre pratiche molto diverse.

Cosa dovrebbe coprire la zero data retention?

Contenuti che non dovrebbero sopravvivere alla richiesta:

  • Prompt, prompt di sistema e risultati dei tool
  • Immagini e audio
  • Output del modello e trascrizioni
  • Corpi completi di richieste e risposte, anche nei log di debug
  • URL grezzi, query string e valori di autenticazione

Registri che di norma si conservano, e che non dovrebbero contenere contenuti:

  • ID delle richieste, tempi, stato HTTP, conteggi di byte
  • ID di account e chiave, modello, conteggi di token, costo
  • Indirizzi IP dei client, per la sicurezza

Se un provider non sa dirti in quale elenco sta ciascuna voce, consideralo un «no».

Addestramento, conservazione e ZDR sono la stessa promessa?

Promessa Cosa significa Cosa non significa
«Non usati per l’addestramento» I tuoi dati non addestreranno modelli futuri Possono comunque essere conservati per un po’
«Conservati per N giorni» Il contenuto viene tenuto, poi cancellato Nel frattempo personale o sistemi possono accedervi
«Zero data retention» Il contenuto non viene conservato dopo la richiesta I metadati vengono comunque tenuti

I grandi provider mostrano perché la differenza conta. Per un confronto fianco a fianco delle formulazioni ufficiali di diversi provider, vedi la conservazione dei dati delle API LLM a confronto. La pagina sui controlli dei dati di OpenAI dice che dal 1° marzo 2023 i dati dell’API non vengono usati per addestrare i suoi modelli, per impostazione predefinita. La stessa pagina dice che i log di monitoraggio degli abusi «are retained for up to 30 days» (traduzione: sono conservati fino a 30 giorni), che i controlli ZDR «are subject to prior approval by OpenAI» (traduzione: sono soggetti ad approvazione preventiva di OpenAI) e che gli endpoint che conservano uno stato, come file, assistenti e batch, non sono idonei. Un provider può essere onesto su tutti e tre i punti e tenere comunque il tuo contenuto per un mese, per impostazione predefinita.

Dove hanno di solito delle lacune le promesse di ZDR?

  • Idoneità. La ZDR può richiedere un’approvazione, un piano specifico o un contratto, ed è disattivata finché non viene attivata.
  • Ambito degli endpoint. La chat può rientrarvi mentre archiviazione di file, batch o fine-tuning no.
  • Eccezioni di sicurezza. Le FAQ di OpenRouter, per esempio, definiscono la ZDR come «no routine storage of prompts or responses after processing, apart from a CSAM exception» (traduzione: nessuna conservazione ordinaria di prompt o risposte dopo l’elaborazione, salvo un’eccezione per il CSAM).
  • Livelli sopra il modello. Un gateway, un router o uno strumento di osservabilità nel mezzo può registrare i prompt anche se il provider del modello non lo fa. Chiedi a ogni livello.
  • I tuoi sistemi. I log della tua app, gli strumenti di tracciamento degli errori e gli analytics spesso conservano più contenuti del provider.

Quali 10 domande fare a un provider?

  1. Prompt e output vengono conservati dopo la richiesta? Da qualche parte? Compresi log, cache, code e backup.
  2. Qualche contenuto viene usato per addestramento o valutazione? Da voi o da un fornitore di modelli?
  3. Cosa conservate, campo per campo? Chiedi l’elenco.
  4. Per quanto tempo si tengono i registri di utilizzo, e perché?
  5. Chi gestisce le GPU? Il tuo provider, un cloud o il rivenditore di un rivenditore?
  6. Quali sub-responsabili possono vedere il contenuto delle richieste?
  7. Come si verifica la conservazione? Con una policy o con un controllo automatico?
  8. Le chiavi si possono legare ai miei indirizzi IP? Anche una chiave finita online è un percorso dei dati.
  9. Dove si trova l’hardware, ed è possibile scegliere la regione?
  10. Cosa succede con un ticket di assistenza? Il personale può vedere i contenuti quando segnali un bug?

Chiedi le risposte per iscritto e annota quale documento le rende vincolanti: i termini, un’informativa privacy o un accordo firmato.

Come risponde BroadNet Inference?

Domanda BroadNet Inference
Prompt, immagini, audio, risposte conservati No; elaborati per la richiesta e non conservati
Addestramento sui tuoi dati No; l’informativa privacy esclude addestramento, fine-tuning e valutazione sui dati di inferenza
Cosa si conserva Registri di traffico, utilizzo e account senza contenuti (elenco completo)
Per quanto si conservano i registri Per il tempo richiesto da obblighi di fatturazione, fiscali, di sicurezza e legali
Verifica Controllo orario della configurazione del gateway per un funzionamento senza contenuti
Hardware L’informativa privacy dice che i modelli ospitati girano su «BroadNet-owned or leased hardware in the United States, with partner capacity as backup» (traduzione: hardware di proprietà di BroadNet o in locazione negli Stati Uniti, con capacità di partner come riserva); i modelli serviti da partner girano con condizioni ZDR presso partner di inferenza statunitensi
Residenza dei dati Concorda i luoghi di elaborazione con BroadNet prima di inviare dati con requisiti di residenza (checklist GDPR)
Protezione delle chiavi IP consentiti, fino a 32 voci; modifiche e revoche si applicano alle nuove richieste entro cinque secondi
Chiavi archiviate Solo hash SHA-256; la chiave in chiaro si vede una volta

La documentazione di BroadNet descrive la zero data retention come «built into how we serve requests, not only stated in policy» (traduzione di BroadRouter: integrata nel modo in cui serviamo le richieste, non solo dichiarata in una policy). Vale per ogni richiesta, senza un’impostazione da attivare. I dettagli sono nell’informativa privacy.

La ZDR copre la voce e l’audio in arabo?

La voce è l’input più sensibile che la maggior parte dei prodotti gestisce: un messaggio vocale può contenere un nome, un numero di telefono e un dato sanitario in dieci secondi. Se trascrivi chiamate o vocali WhatsApp, fai le stesse dieci domande su audio e trascrizioni. Vedi la guida all’acquisto di un’API speech-to-text per l’arabo.

Come si verificano le risposte di un provider?

  1. Leggi l’informativa privacy e il riferimento API, non solo la pagina di marketing. Cerca un elenco campo per campo.
  2. Controlla l’ambito. Quali modelli, endpoint e piani copre la promessa?
  3. Guarda cosa restituisce l’API. Se una dashboard ti mostra i prompt passati, sono conservati da qualche parte.
  4. Chiedi del processo di assistenza. Chi può vedere cosa quando apri un ticket?
  5. Scrivi le risposte nella scheda del fornitore, con i link e la data della verifica.

Cosa non risolve la ZDR?

La zero data retention protegge ciò che succede dopo che la tua richiesta arriva al provider. Devi comunque:

Quando sposti un’app da un provider a un altro, aggiungi questi controlli alla checklist di migrazione. Se passi da un gateway, fagli le stesse domande; il confronto con OpenRouter mostra come un router gestisce la ZDR.

Dove si colloca BroadNet Inference

BroadNet Inference è adatto ai team che vogliono la ZDR su ogni richiesta senza doverne fare domanda, anche sui modelli ospitati da partner, che secondo la sua informativa privacy girano con condizioni di zero data retention presso partner di inferenza statunitensi. Conserva registri senza contenuti per fatturazione e sicurezza, come ogni provider. Se ti serve che i dati siano elaborati in una regione specifica, concorda i luoghi di elaborazione con BroadNet prima di inviarli; per i suoi modelli e per quelli che ospita, l’impostazione predefinita sono gli USA.

Domande frequenti

Cosa significa zero data retention per un’API LLM?

Il provider elabora prompt, file e output per rispondere alla richiesta e poi non conserva quel contenuto, nemmeno in log, cache, backup o set di addestramento. Di solito vengono comunque tenuti registri senza contenuti, come tempi e conteggi di token.

Zero data retention significa nessun log?

No. I provider conservano registri operativi come tempi, conteggi di token, costo, codici di stato e indirizzi IP. Zero data retention significa che quei registri non contengono il testo di prompt o output.

«Non addestriamo sui tuoi dati» equivale alla zero data retention?

No. Un provider può promettere di non addestrare sui dati dell’API e conservarli comunque per un certo periodo, per esempio per il monitoraggio degli abusi. La documentazione di OpenAI dice che per impostazione predefinita i dati dell’API non vengono usati per l’addestramento e che i log di monitoraggio degli abusi sono conservati fino a 30 giorni.

BroadNet Inference usa i miei prompt per addestrare i modelli?

No. L’informativa privacy di BroadNet dice che i dati di inferenza non vengono usati «to train, fine-tune or evaluate models» (traduzione di BroadRouter: per addestrare, fare fine-tuning o valutare modelli), e prompt, immagini, audio, risposte e trascrizioni non vengono conservati dopo la richiesta.

La zero data retention basta per il GDPR?

Aiuta, ma da sola non chiude la questione. Ti servono comunque una base giuridica, un registro dei trattamenti e un accordo con ogni responsabile del trattamento. Chiedi al tuo referente per la protezione dei dati; la ZDR riduce ciò che detiene il provider, non i tuoi obblighi.

Dove esegue i suoi modelli BroadNet?

Secondo l’informativa privacy di BroadNet, i suoi modelli e i modelli open-weight che ospita girano su hardware di proprietà di BroadNet o in locazione negli Stati Uniti, con capacità di partner come riserva. I modelli serviti da partner girano con condizioni di zero data retention presso partner di inferenza statunitensi. Contatta BroadNet per concordare i luoghi di elaborazione prima di inviare dati con requisiti di residenza.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity