BroadRouter

Prompts so strukturieren, dass das Präfix gecacht wird

Vom Team von BroadNet Inference · 4 Min. Lesezeit · Veröffentlicht · Aktualisiert

Ordnen Sie jede Anfrage vom stabilsten zum am wenigsten stabilen Teil: System-Prompt, Tool-Definitionen, Referenzdokumente, Gesprächsverlauf, dann die neue Nachricht. Halten Sie jede Schicht zwischen den Aufrufen byte-identisch: keine Zeitstempel oder IDs oben, Tools sortiert, JSON deterministisch serialisiert und den Verlauf nur ergänzen. Messen Sie dann cached_tokens, um zu bestätigen, dass das Präfix tatsächlich wiederverwendet wird.

Gecachte Input-Tokens sind günstig: Bei BroadNet Inference berechnet DeepSeek V4.1 Flash sie mit $0.0055 pro 1 Mio. statt $0.175. Die Erklärung zu gecachten Tokens behandelt den Preis und wie Sie das Nutzungsfeld lesen. In diesem Beitrag geht es um die Gestaltung: wie Sie einen Prompt so aufbauen, dass der Cache tatsächlich trifft, und wie Sie das belegen.

Warum entscheidet die Reihenfolge im Prompt über die Cache-Trefferquote?

Alle großen Anbieter cachen nach Präfix. Laut dem Leitfaden von OpenAI setzt die Wiederverwendung voraus, dass das gesamte gerenderte Präfix übereinstimmt. Die Dokumentation von DeepSeek beschreibt dieselbe Regel: Eine Anfrage trifft nur, wenn sie vollständig mit einem gespeicherten Präfix übereinstimmt; eine, die mittendrin abweicht, trifft nicht. Anthropic baut seinen Cache in der Reihenfolge Tools, System, Nachrichten auf.

Unter der Haube verwendet der Server den KV-Cache wieder, den er für dieses Präfix aufgebaut hat. Der Cache ist also eine gerade Linie ab dem ersten Token. Das erste Byte, das vom letzten Aufruf abweicht, beendet den wiederverwendbaren Teil. Ein einzeiliger Zeitstempel ganz oben in einem Prompt mit 50.000 Tokens kostet Sie alle 50.000 Tokens zum vollen Preis.

Welche Reihenfolge der Schichten ist richtig?

Schicht Ändert sich Beispiel Regel
1. System-Prompt Pro Deployment Rolle, Regeln, Ausgabeformat Keine Daten, IDs, Benutzernamen
2. Tool-Definitionen Pro Deployment Funktionsschemas Sortiertes, deterministisches JSON
3. Referenzmaterial Pro Session oder Aufgabe Repository-Dateien, Verträge, Produktdokumentation Feste Reihenfolge, stabile Bezeichnungen
4. Gesprächsverlauf Pro Runde, nur ergänzen Frühere Runden von Nutzer und Assistent Nie bearbeiten; nur hinzufügen
5. Neue Nachricht Bei jedem Aufruf Die Frage, bei Bedarf plus aktuelle Uhrzeit Hierhin gehören veränderliche Daten

In Schicht 5 gehört alles Veränderliche: das aktuelle Datum, das Gebietsschema des Nutzers, eine Request-ID, abgerufene Textausschnitte, die sich pro Frage unterscheiden.

Was bricht das Präfix, ohne dass Sie es merken?

  1. Reihenfolge in Dictionaries. Frameworks bauen das tools-Array oft aus einem Dict oder einer Registry. Laden Plugins in anderer Reihenfolge, ändern sich die Bytes.
  2. JSON-Formatierung. json.dumps(x) und json.dumps(x, indent=2) sind unterschiedliche Präfixe. Ebenso zwei Serialisierer mit unterschiedlicher Schlüsselreihenfolge.
  3. Leerzeichen im Template. Ein Leerzeichen am Zeilenende oder ein \r\n aus einem Codepfad und \n aus einem anderen.
  4. Dynamische Tool-Listen. Werden Tools entfernt, die ein Nutzer nicht verwenden darf, ändert sich das Präfix. Der Leitfaden von OpenAI empfiehlt, die Definitionen stabil zu halten und die Nutzung mit tool_choice oder einer Einstellung für erlaubte Tools einzuschränken.
  5. Verlauf an Ort und Stelle zusammenfassen. Alte Runden zu einer Zusammenfassung umzuschreiben, setzt alles nach dem System-Prompt zurück. Fassen Sie selten und in großen Schritten zusammen.
  6. Retrieval vor den Anweisungen. RAG-Ausschnitte zwischen System-Prompt und Tools unterscheiden sich pro Anfrage und brechen auch die Tool-Schicht.

Wie bauen Sie eine Cache-freundliche Anfrage im Code?

Machen Sie jede Schicht nur von stabilen Eingaben abhängig und serialisieren Sie deterministisch:

import json, os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

SYSTEM = open("prompts/system.md").read()  # versioned file, no templating

def stable_tools(registry: dict) -> list:
    # Sort by name, sort keys inside each schema.
    return [json.loads(json.dumps(registry[name], sort_keys=True)) for name in sorted(registry)]

def docs_block(paths: list[str]) -> str:
    parts = [f"=== {p} ===\n{open(p).read()}" for p in sorted(paths)]
    return "\n\n".join(parts)

def build_messages(history: list, user_text: str, now_iso: str, doc_paths: list[str]):
    return (
        [{"role": "system", "content": SYSTEM},
         {"role": "user", "content": docs_block(doc_paths)}]
        + history                                   # append-only
        + [{"role": "user", "content": f"(now: {now_iso})\n{user_text}"}]
    )

resp = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    messages=build_messages(history, question, now_iso, files),
    tools=stable_tools(TOOLS),
)
history += [{"role": "user", "content": question}, resp.choices[0].message.model_dump(exclude_none=True)]

Zwei Details. Die aktuelle Uhrzeit steht in der letzten Nachricht, nicht im System-Prompt. Und der Verlauf speichert die Nachricht des Assistenten genau so, wie sie zurückkam, damit der nächste Aufruf identische Bytes erneut sendet.

Wie belegen Sie, dass das Präfix gecacht wird?

Führen Sie in der CI oder in einem Notebook einen Test mit zwei Aufrufen aus:

  1. Bauen Sie eine Anfrage mit Ihrem echten System-Prompt, Ihren Tools und Dokumenten.
  2. Senden Sie sie. Notieren Sie usage.prompt_tokens.
  3. Ändern Sie nur die letzte Nutzernachricht und senden Sie erneut.
  4. Lesen Sie beim zweiten Aufruf usage.prompt_tokens_details.cached_tokens. Der Wert sollte fast das gesamte gemeinsame Präfix abdecken.
  5. Ist er null oder klein, vergleichen Sie die serialisierten Anfragekörper Byte für Byte. Der erste Unterschied ist Ihr Cache-Brecher.

Caching ist bei den meisten Anbietern Best Effort, und die Dokumentation von DeepSeek sagt das direkt; ein einzelner Fehltreffer beweist also keinen Bug. Ein dauerhafter schon. Verfolgen Sie das Verhältnis von gecachten zu Prompt-Tokens pro Anfrage in Ihren Nutzungs-Logs, und sehen Sie im Prompt-Caching-Rechner, was eine höhere Trefferquote spart.

Was ändert sich bei Agenten und langem Kontext?

Agenten profitieren am meisten, weil sie dasselbe große Präfix pro Aufgabe Dutzende Male erneut senden. Zwei Gewohnheiten zählen:

  • Ein Gespräch pro Aufgabe. Wer für jeden Teilschritt ein neues Gespräch beginnt, wirft das Präfix weg.
  • Dateien einmal lesen, weit oben. Liest der Agent eine Datei erneut, hängen Sie die neue Kopie an, statt die alte zu ersetzen, es sei denn, die Datei hat sich geändert.

Mit einem Kontextfenster von 1 Mio. Tokens kann Schicht 3 ein ganzes Repository aufnehmen. Mit einem Schlüssel mit Abrechnung pro Token ist das nur bezahlbar, wenn es gecacht wird; deshalb zählt die Reihenfolge der Schichten umso mehr, je größer Prompts werden. Gecachte Präfixe verkürzen meist auch die Zeit bis zum ersten Token; siehe TTFT vs. Durchsatz.

Wo BroadNet Inference hineinpasst

Bei BroadNet Inference meldet der usage-Block prompt_tokens_details.cached_tokens, wenn das Modell den Wert liefert, und gecachter Input bei DeepSeek V4.1 Flash, GLM 5.3 und Qwen3.8 27B wird zum niedrigeren Preis von der Preisseite abgerechnet. Explizite Cache-Breakpoints oder einen Parameter für einen Cache-Schlüssel bietet BroadNet laut Dokumentation nicht an; der Aufbau oben ist also die ganze Technik. In einem unbegrenzten Plan ändert der Cache die Rechnung nicht, weil Sessions keinen Token-Zähler haben, dieselbe Struktur hilft aber weiterhin bei der Latenz.

Häufige Fragen

Warum ist meine Cache-Trefferquote beim Prompt Caching so niedrig?

Etwas nahe am Anfang des Prompts ändert sich bei jedem Aufruf. Die üblichen Ursachen sind ein Zeitstempel oder eine Request-ID im System-Prompt, Tools, die in anderer Reihenfolge serialisiert werden, abgerufene Dokumente vor den Anweisungen oder ein Verlauf, der zusammengefasst und umgeschrieben wird.

Gehört die Nutzerfrage vor oder hinter lange Dokumente?

Dahinter. Stellen Sie die Dokumente an den Anfang und die Frage ans Ende. Die Dokumente bilden dann ein wiederverwendbares Präfix, und viele Modelle antworten auch besser, wenn die Frage auf das Material folgt.

Brechen Tool-Definitionen das Prompt Caching?

Nur, wenn sie sich ändern. Tools gehören zum Präfix, behalten Sie also dieselbe Menge in derselben Reihenfolge mit demselben JSON. Um Tools für einen Aufruf einzuschränken, nutzen Sie tool_choice, statt die Liste zu bearbeiten.

Spielt die Reihenfolge der Few-Shot-Beispiele für das Caching eine Rolle?

Ja. Gemischte Beispiele erzeugen jedes Mal ein anderes Präfix. Legen Sie die Reihenfolge fest, oder platzieren Sie Beispiele, die sich pro Anfrage ändern, hinter dem stabilen Teil.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen