Gecachte Input-Tokens sind günstig: Bei BroadNet Inference berechnet DeepSeek V4.1 Flash sie mit $0.0055 pro 1 Mio. statt $0.175. Die Erklärung zu gecachten Tokens behandelt den Preis und wie Sie das Nutzungsfeld lesen. In diesem Beitrag geht es um die Gestaltung: wie Sie einen Prompt so aufbauen, dass der Cache tatsächlich trifft, und wie Sie das belegen.
Warum entscheidet die Reihenfolge im Prompt über die Cache-Trefferquote?
Alle großen Anbieter cachen nach Präfix. Laut dem Leitfaden von OpenAI setzt die Wiederverwendung voraus, dass das gesamte gerenderte Präfix übereinstimmt. Die Dokumentation von DeepSeek beschreibt dieselbe Regel: Eine Anfrage trifft nur, wenn sie vollständig mit einem gespeicherten Präfix übereinstimmt; eine, die mittendrin abweicht, trifft nicht. Anthropic baut seinen Cache in der Reihenfolge Tools, System, Nachrichten auf.
Unter der Haube verwendet der Server den KV-Cache wieder, den er für dieses Präfix aufgebaut hat. Der Cache ist also eine gerade Linie ab dem ersten Token. Das erste Byte, das vom letzten Aufruf abweicht, beendet den wiederverwendbaren Teil. Ein einzeiliger Zeitstempel ganz oben in einem Prompt mit 50.000 Tokens kostet Sie alle 50.000 Tokens zum vollen Preis.
Welche Reihenfolge der Schichten ist richtig?
| Schicht | Ändert sich | Beispiel | Regel |
|---|---|---|---|
| 1. System-Prompt | Pro Deployment | Rolle, Regeln, Ausgabeformat | Keine Daten, IDs, Benutzernamen |
| 2. Tool-Definitionen | Pro Deployment | Funktionsschemas | Sortiertes, deterministisches JSON |
| 3. Referenzmaterial | Pro Session oder Aufgabe | Repository-Dateien, Verträge, Produktdokumentation | Feste Reihenfolge, stabile Bezeichnungen |
| 4. Gesprächsverlauf | Pro Runde, nur ergänzen | Frühere Runden von Nutzer und Assistent | Nie bearbeiten; nur hinzufügen |
| 5. Neue Nachricht | Bei jedem Aufruf | Die Frage, bei Bedarf plus aktuelle Uhrzeit | Hierhin gehören veränderliche Daten |
In Schicht 5 gehört alles Veränderliche: das aktuelle Datum, das Gebietsschema des Nutzers, eine Request-ID, abgerufene Textausschnitte, die sich pro Frage unterscheiden.
Was bricht das Präfix, ohne dass Sie es merken?
- Reihenfolge in Dictionaries. Frameworks bauen das
tools-Array oft aus einem Dict oder einer Registry. Laden Plugins in anderer Reihenfolge, ändern sich die Bytes. - JSON-Formatierung.
json.dumps(x)undjson.dumps(x, indent=2)sind unterschiedliche Präfixe. Ebenso zwei Serialisierer mit unterschiedlicher Schlüsselreihenfolge. - Leerzeichen im Template. Ein Leerzeichen am Zeilenende oder ein
\r\naus einem Codepfad und\naus einem anderen. - Dynamische Tool-Listen. Werden Tools entfernt, die ein Nutzer nicht verwenden darf, ändert sich das Präfix. Der Leitfaden von OpenAI empfiehlt, die Definitionen stabil zu halten und die Nutzung mit
tool_choiceoder einer Einstellung für erlaubte Tools einzuschränken. - Verlauf an Ort und Stelle zusammenfassen. Alte Runden zu einer Zusammenfassung umzuschreiben, setzt alles nach dem System-Prompt zurück. Fassen Sie selten und in großen Schritten zusammen.
- Retrieval vor den Anweisungen. RAG-Ausschnitte zwischen System-Prompt und Tools unterscheiden sich pro Anfrage und brechen auch die Tool-Schicht.
Wie bauen Sie eine Cache-freundliche Anfrage im Code?
Machen Sie jede Schicht nur von stabilen Eingaben abhängig und serialisieren Sie deterministisch:
import json, os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
SYSTEM = open("prompts/system.md").read() # versioned file, no templating
def stable_tools(registry: dict) -> list:
# Sort by name, sort keys inside each schema.
return [json.loads(json.dumps(registry[name], sort_keys=True)) for name in sorted(registry)]
def docs_block(paths: list[str]) -> str:
parts = [f"=== {p} ===\n{open(p).read()}" for p in sorted(paths)]
return "\n\n".join(parts)
def build_messages(history: list, user_text: str, now_iso: str, doc_paths: list[str]):
return (
[{"role": "system", "content": SYSTEM},
{"role": "user", "content": docs_block(doc_paths)}]
+ history # append-only
+ [{"role": "user", "content": f"(now: {now_iso})\n{user_text}"}]
)
resp = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash",
messages=build_messages(history, question, now_iso, files),
tools=stable_tools(TOOLS),
)
history += [{"role": "user", "content": question}, resp.choices[0].message.model_dump(exclude_none=True)]
Zwei Details. Die aktuelle Uhrzeit steht in der letzten Nachricht, nicht im System-Prompt. Und der Verlauf speichert die Nachricht des Assistenten genau so, wie sie zurückkam, damit der nächste Aufruf identische Bytes erneut sendet.
Wie belegen Sie, dass das Präfix gecacht wird?
Führen Sie in der CI oder in einem Notebook einen Test mit zwei Aufrufen aus:
- Bauen Sie eine Anfrage mit Ihrem echten System-Prompt, Ihren Tools und Dokumenten.
- Senden Sie sie. Notieren Sie
usage.prompt_tokens. - Ändern Sie nur die letzte Nutzernachricht und senden Sie erneut.
- Lesen Sie beim zweiten Aufruf
usage.prompt_tokens_details.cached_tokens. Der Wert sollte fast das gesamte gemeinsame Präfix abdecken. - Ist er null oder klein, vergleichen Sie die serialisierten Anfragekörper Byte für Byte. Der erste Unterschied ist Ihr Cache-Brecher.
Caching ist bei den meisten Anbietern Best Effort, und die Dokumentation von DeepSeek sagt das direkt; ein einzelner Fehltreffer beweist also keinen Bug. Ein dauerhafter schon. Verfolgen Sie das Verhältnis von gecachten zu Prompt-Tokens pro Anfrage in Ihren Nutzungs-Logs, und sehen Sie im Prompt-Caching-Rechner, was eine höhere Trefferquote spart.
Was ändert sich bei Agenten und langem Kontext?
Agenten profitieren am meisten, weil sie dasselbe große Präfix pro Aufgabe Dutzende Male erneut senden. Zwei Gewohnheiten zählen:
- Ein Gespräch pro Aufgabe. Wer für jeden Teilschritt ein neues Gespräch beginnt, wirft das Präfix weg.
- Dateien einmal lesen, weit oben. Liest der Agent eine Datei erneut, hängen Sie die neue Kopie an, statt die alte zu ersetzen, es sei denn, die Datei hat sich geändert.
Mit einem Kontextfenster von 1 Mio. Tokens kann Schicht 3 ein ganzes Repository aufnehmen. Mit einem Schlüssel mit Abrechnung pro Token ist das nur bezahlbar, wenn es gecacht wird; deshalb zählt die Reihenfolge der Schichten umso mehr, je größer Prompts werden. Gecachte Präfixe verkürzen meist auch die Zeit bis zum ersten Token; siehe TTFT vs. Durchsatz.
Wo BroadNet Inference hineinpasst
Bei BroadNet Inference meldet der usage-Block prompt_tokens_details.cached_tokens, wenn das Modell den Wert liefert, und gecachter Input bei DeepSeek V4.1 Flash, GLM 5.3 und Qwen3.8 27B wird zum niedrigeren Preis von der Preisseite abgerechnet. Explizite Cache-Breakpoints oder einen Parameter für einen Cache-Schlüssel bietet BroadNet laut Dokumentation nicht an; der Aufbau oben ist also die ganze Technik. In einem unbegrenzten Plan ändert der Cache die Rechnung nicht, weil Sessions keinen Token-Zähler haben, dieselbe Struktur hilft aber weiterhin bei der Latenz.
