BroadRouter
Loslegen

LLM-API mit Zero Data Retention: Checkliste mit 10 Fragen

Vom Team von BroadNet Inference · 5 Min. Lesezeit · Veröffentlicht · Aktualisiert

Eine LLM-API mit Zero Data Retention verarbeitet Ihre Prompts und Outputs für die Anfrage und speichert sie danach nicht, weder in Logs noch in Caches oder Trainingsdaten. Fragen Sie, was aufbewahrt wird (meist inhaltsfreie Nutzungsdaten), wie lange, wer die GPUs betreibt und wie die Aufbewahrung geprüft wird. BroadNet Inference speichert keine Prompts, Bilder, Audios oder Antworten und prüft stündlich, ob ihr Gateway so konfiguriert ist, dass es keine Inhalte speichert.

A glass enclosure with an input entering and a response leaving, labelled "Private inference".

Coding-Agenten senden ganze Repositories. Support-Bots senden Kundennachrichten. Transkriptions-Pipelines senden Telefonate. Bevor irgendetwas davon an eine LLM-API geht, wird jemand fragen: Was passiert damit, nachdem die Antwort zurückkommt? „Zero Data Retention“ (ZDR) ist die Antwort, die man hören will, aber der Begriff deckt sehr unterschiedliche Praktiken ab.

Was sollte Zero Data Retention abdecken?

Inhalte, die die Anfrage nicht überdauern sollten:

  • Prompts, System-Prompts und Tool-Ergebnisse
  • Bilder und Audio
  • Modell-Outputs und Transkripte
  • Vollständige Request- und Response-Bodys, auch in Debug-Logs
  • Rohe URLs, Query-Strings und Authentifizierungswerte

Datensätze, die normalerweise aufbewahrt werden und frei von Inhalten sein sollten:

  • Request-IDs, Zeitangaben, HTTP-Status, Byte-Zahlen
  • Konto- und Schlüssel-IDs, Modell, Token-Zahlen, Kosten
  • Client-IP-Adressen, aus Sicherheitsgründen

Kann ein Anbieter Ihnen nicht sagen, auf welcher Liste welcher Punkt steht, werten Sie das als „Nein“.

Sind Training, Aufbewahrung und ZDR dasselbe Versprechen?

Versprechen Was es bedeutet Was es nicht bedeutet
„Nicht für Training genutzt“ Ihre Daten trainieren keine künftigen Modelle Sie können trotzdem eine Weile gespeichert sein
„N Tage aufbewahrt“ Inhalte werden gespeichert und dann gelöscht Mitarbeitende oder Systeme können in der Zwischenzeit darauf zugreifen
„Zero Data Retention“ Inhalte werden nach der Anfrage nicht gespeichert Metadaten werden weiterhin aufbewahrt

Die großen Anbieter zeigen, warum der Unterschied zählt. Einen direkten Vergleich der offiziellen Formulierungen mehrerer Anbieter finden Sie unter Datenspeicherung bei LLM-APIs im Vergleich. Die Seite zu Datenkontrollen von OpenAI sagt, dass API-Daten seit dem 1. März 2023 standardmäßig nicht zum Training der eigenen Modelle genutzt werden. Dieselbe Seite sagt, dass Logs der Missbrauchsüberwachung „are retained for up to 30 days“ (Übersetzung: bis zu 30 Tage aufbewahrt werden), dass ZDR-Kontrollen „are subject to prior approval by OpenAI“ (Übersetzung: einer vorherigen Genehmigung durch OpenAI unterliegen) und dass Endpoints, die Zustand speichern, etwa Files, Assistants und Batches, nicht infrage kommen. Ein Anbieter kann in allen drei Punkten ehrlich sein und Ihre Inhalte trotzdem standardmäßig einen Monat lang aufbewahren.

Wo haben ZDR-Versprechen üblicherweise Lücken?

  • Berechtigung. ZDR kann eine Genehmigung, einen bestimmten Plan oder einen Vertrag voraussetzen und ist aus, bis es eingeschaltet wird.
  • Umfang der Endpoints. Chat kann infrage kommen, während Dateispeicher, Batches oder Fine-Tuning es nicht tun.
  • Sicherheitsausnahmen. Die FAQ von OpenRouter etwa definiert ZDR als „no routine storage of prompts or responses after processing, apart from a CSAM exception“ (Übersetzung: keine routinemäßige Speicherung von Prompts oder Antworten nach der Verarbeitung, abgesehen von einer Ausnahme für CSAM).
  • Schichten über dem Modell. Ein Gateway, Router oder Observability-Tool dazwischen kann Prompts loggen, auch wenn der Modellanbieter es nicht tut. Fragen Sie jede Schicht.
  • Ihre eigenen Systeme. Ihre App-Logs, Error-Tracker und Analytics bewahren oft mehr Inhalte auf als der Anbieter.

Welche 10 Fragen sollten Sie einem Anbieter stellen?

  1. Werden Prompts und Outputs nach der Anfrage gespeichert? Irgendwo? Einschließlich Logs, Caches, Queues und Backups.
  2. Werden Inhalte für Training oder Evaluierung genutzt? Von Ihnen oder von einem Modellhersteller?
  3. Was bewahren Sie auf, Feld für Feld? Verlangen Sie die Liste.
  4. Wie lange werden Nutzungsdaten aufbewahrt, und warum?
  5. Wer betreibt die GPUs? Ihr Anbieter, eine Cloud oder der Wiederverkäufer eines Wiederverkäufers?
  6. Welche Unterauftragnehmer können Request-Inhalte sehen?
  7. Wie wird die Aufbewahrung geprüft? Eine Richtlinie oder eine automatisierte Prüfung?
  8. Lassen sich Schlüssel an meine IP-Adressen binden? Ein geleakter Schlüssel ist auch ein Datenpfad.
  9. Wo steht die Hardware, und ist eine regionale Platzierung möglich?
  10. Was passiert bei einem Support-Ticket? Können Mitarbeitende Inhalte sehen, wenn Sie einen Fehler melden?

Lassen Sie sich die Antworten schriftlich geben, und notieren Sie, welches Dokument sie verbindlich macht: die Bedingungen, eine Datenschutzerklärung oder ein unterzeichneter Vertrag.

Wie beantwortet BroadNet Inference diese Fragen?

Frage BroadNet Inference
Prompts, Bilder, Audio, Antworten gespeichert Nein; für die Anfrage verarbeitet und nicht aufbewahrt
Training mit Ihren Daten Nein; die Datenschutzerklärung schließt Training, Fine-Tuning und Evaluierung mit Inferenzdaten aus
Was aufbewahrt wird Inhaltsfreie Traffic-, Nutzungs- und Kontodaten (vollständige Liste)
Wie lange Datensätze aufbewahrt werden So lange, wie Abrechnung, Steuern, Sicherheit und gesetzliche Pflichten es erfordern
Prüfung Stündliche Prüfung der Gateway-Konfiguration auf inhaltsfreien Betrieb
Hardware Laut Datenschutzerklärung laufen gehostete Modelle auf „BroadNet-owned or leased hardware in the United States, with partner capacity as backup“ (Übersetzung: „Hardware in den USA, die BroadNet gehört oder gemietet ist, mit Partnerkapazität als Reserve“); partnerbediente Modelle laufen unter ZDR-Bedingungen bei US-Inferenzpartnern
Datenresidenz Verarbeitungsorte mit BroadNet vereinbaren, bevor Sie Daten mit Residenzanforderungen senden (DSGVO-Checkliste)
Schutz der Schlüssel IP-Allowlists, bis zu 32 Einträge; Änderungen und Widerrufe gelten innerhalb von fünf Sekunden für neue Anfragen
Gespeicherte Schlüssel Nur SHA-256-Hashes; der Rohschlüssel wird einmal angezeigt

Die Doku von BroadNet beschreibt Zero Data Retention als „built into how we serve requests, not only stated in policy“ (Übersetzung: in die Art eingebaut, wie wir Anfragen bedienen, nicht nur in einer Richtlinie festgehalten). Sie gilt für jede Anfrage, ohne Einstellung, die man einschalten müsste. Die Details stehen in der Datenschutzerklärung.

Deckt ZDR Sprache und arabisches Audio ab?

Sprache ist der sensibelste Input, den die meisten Produkte verarbeiten: Eine Sprachnachricht kann in zehn Sekunden einen Namen, eine Telefonnummer und ein Gesundheitsdetail enthalten. Wenn Sie Anrufe oder WhatsApp-Sprachnachrichten transkribieren, stellen Sie dieselben zehn Fragen zu Audio und Transkripten. Siehe den Kaufratgeber für Speech-to-Text-APIs für Arabisch.

Wie prüfen Sie die Antworten eines Anbieters?

  1. Lesen Sie die Datenschutzerklärung und die API-Referenz, nicht nur die Marketingseite. Suchen Sie nach einer Liste Feld für Feld.
  2. Prüfen Sie den Umfang. Welche Modelle, Endpoints und Pläne deckt das Versprechen ab?
  3. Schauen Sie, was die API zurückgibt. Zeigt ein Dashboard Ihre früheren Prompts, sind sie irgendwo gespeichert.
  4. Fragen Sie nach dem Support-Prozess. Wer kann was sehen, wenn Sie ein Ticket eröffnen?
  5. Tragen Sie die Antworten in Ihre Lieferantenakte ein, mit Links und dem Datum Ihrer Prüfung.

Was löst ZDR nicht?

Zero Data Retention schützt, was passiert, nachdem Ihre Anfrage den Anbieter erreicht hat. Sie müssen weiterhin:

Wenn Sie eine App von einem Anbieter zu einem anderen umziehen, nehmen Sie diese Prüfungen in die Migrations-Checkliste auf. Wenn Sie über ein Gateway routen, stellen Sie ihm dieselben Fragen; der Vergleich mit OpenRouter zeigt, wie ein Router mit ZDR umgeht.

Wo BroadNet Inference passt

BroadNet Inference eignet sich für Teams, die ZDR für jede Anfrage wollen, ohne es beantragen zu müssen, auch bei partnergehosteten Modellen, die laut Datenschutzerklärung unter Zero-Data-Retention-Bedingungen bei US-Inferenzpartnern laufen. Es bewahrt inhaltsfreie Datensätze für Abrechnung und Sicherheit auf, wie jeder Anbieter. Wenn Ihre Daten in einer bestimmten Region verarbeitet werden müssen, vereinbaren Sie die Verarbeitungsorte mit BroadNet, bevor Sie Daten senden; Standard für die eigenen und gehosteten Modelle sind die USA.

Häufige Fragen

Was bedeutet Zero Data Retention bei einer LLM-API?

Der Anbieter verarbeitet Ihre Prompts, Dateien und Outputs, um die Anfrage zu beantworten, und speichert diese Inhalte danach nicht, auch nicht in Logs, Caches, Backups oder Trainingsdaten. Inhaltsfreie Datensätze wie Zeitangaben und Token-Zahlen werden meist trotzdem aufbewahrt.

Heißt Zero Data Retention, dass es gar keine Logs gibt?

Nein. Anbieter bewahren Betriebsdaten wie Zeitangaben, Token-Zahlen, Kosten, Statuscodes und IP-Adressen auf. Zero Data Retention bedeutet, dass diese Datensätze keine Inhalte von Prompts oder Outputs enthalten.

Ist „wir trainieren nicht mit Ihren Daten“ dasselbe wie Zero Data Retention?

Nein. Ein Anbieter kann zusagen, nicht mit API-Daten zu trainieren, und sie trotzdem eine Zeit lang aufbewahren, etwa zur Missbrauchsüberwachung. Laut Doku von OpenAI werden API-Daten standardmäßig nicht für Training genutzt, und Logs der Missbrauchsüberwachung werden bis zu 30 Tage aufbewahrt.

Werden meine Prompts bei BroadNet Inference zum Training von Modellen genutzt?

Nein. Laut Datenschutzerklärung von BroadNet werden Inferenzdaten nicht genutzt, „to train, fine-tune or evaluate models“ (Übersetzung: um Modelle zu trainieren, feinabzustimmen oder zu evaluieren), und Prompts, Bilder, Audio, Antworten und Transkripte werden nach der Anfrage nicht gespeichert.

Reicht Zero Data Retention für die DSGVO?

Es hilft, klärt die Frage aber nicht allein. Sie brauchen weiterhin eine Rechtsgrundlage, ein Verarbeitungsverzeichnis und einen Vertrag mit jedem Auftragsverarbeiter. Fragen Sie Ihre Datenschutzverantwortlichen; ZDR verringert, was ein Anbieter vorhält, nicht Ihre eigenen Pflichten.

Wo betreibt BroadNet seine Modelle?

Laut Datenschutzerklärung von BroadNet laufen die eigenen und gehosteten Open-Weight-Modelle auf Hardware in den USA, die BroadNet gehört oder die gemietet ist, mit Partnerkapazität als Reserve. Partnerbediente Modelle laufen unter Zero-Data-Retention-Bedingungen bei US-Inferenzpartnern. Vereinbaren Sie die Verarbeitungsorte mit BroadNet, bevor Sie Daten mit Anforderungen an die Datenresidenz senden.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen