Das meiste, was ein Agent an ein LLM sendet, ist in jeder Runde gleich: der System-Prompt, die Tool-Definitionen, die Dateien, an denen er arbeitet, und der bisherige Gesprächsverlauf. Nur die letzte Nachricht ist neu. Prompt Caching bedeutet, dass der Anbieter diesen wiederholten Teil nicht zum vollen Preis abrechnet.
Was ist ein gecachtes Input-Token?
Jede Anfrage besteht aus Input- und Output-Tokens. Bevor ein Modell antworten kann, verarbeitet es den gesamten Prompt. Begann eine frühere Anfrage mit genau denselben Tokens, kann das Serving-System diese Arbeit wiederverwenden, statt sie erneut zu leisten. Der wiederverwendete Teil wird als gecachte Input-Tokens gemeldet und zu einem niedrigeren Tarif abgerechnet.
Aus dieser Funktionsweise folgen zwei Punkte:
- Nur das Präfix wird gecacht. Der Abgleich läuft vom ersten Token an vorwärts und endet beim ersten Unterschied.
- Die Antwort wird nie gecacht. Das Modell erzeugt weiterhin neuen Output, der zum vollen Output-Preis berechnet wird.
Was kosten gecachte Tokens bei BroadNet Inference?
Pro 1 Million Tokens, laut der veröffentlichten Preisdatei:
| Modell | Neuer Input | Gecachter Input | Output |
|---|---|---|---|
| DeepSeek V4.1 Flash | $0.175 | $0.0055 | $0.52 |
| GLM 5.3 | $0.78 | $0.173 | $3.46 |
| Qwen3.8 27B | $0.175 | $0.0435 | $2.17 |
Bei DeepSeek V4.1 Flash ist der Abstand groß: Vergleichen Sie $0.0055 pro 1 Mio. gecachter Tokens mit $0.175 pro 1 Mio. neuer. Für einen Agenten, der in jeder Runde ein Repository mit 200.000 Tokens erneut sendet, entscheidet die Cache-Quote über den größten Teil der Rechnung.
Wie viel kann Caching sparen? Ein Rechenbeispiel
Ein Coding-Agent sendet an einem Arbeitstag 100-mal einen Prompt mit 200.000 Tokens. Das sind 20 Millionen Input-Tokens pro Tag.
| Cache-Quote | Neue Input-Tokens | Gecachte Input-Tokens |
|---|---|---|
| 0 % | 20 Mio. zu $0.175 pro 1 Mio. | 0 |
| 50 % | 10 Mio. zu $0.175 pro 1 Mio. | 10 Mio. zu $0.0055 pro 1 Mio. |
| 90 % | 2 Mio. zu $0.175 pro 1 Mio. | 18 Mio. zu $0.0055 pro 1 Mio. |
Die Formel für die tägliche Input-Rechnung lautet new tokens (M) × input price + cached tokens (M) × cached price (neue Tokens in Mio. × Input-Preis + gecachte Tokens in Mio. × Cache-Preis). Bei 90 % werden 18 Mio. der 20 Mio. Input-Tokens zum Cache-Preis statt zum vollen Input-Preis abgerechnet; je größer also der Abstand zwischen beiden Preisen, desto mehr sparen Sie beim Input-Anteil der Rechnung. Der Output bleibt unverändert. Probieren Sie Ihre eigenen Zahlen im Prompt-Caching-Rechner aus.
Wie sehen Sie gecachte Tokens in der API-Antwort?
Laut der API-Referenz von BroadNet enthält das usage-Objekt prompt_tokens_details.cached_tokens, wenn das Modell sie meldet: die aus dem Cache gelesenen Prompt-Tokens, berechnet zum Cache-Preis. In einem Stream fordern Sie die Nutzungsdaten im letzten Chunk an:
from openai import OpenAI
import os
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
messages = [
{"role": "system", "content": "You are a code reviewer."}, # stable prefix: keep it identical
{"role": "user", "content": "Review the diff below."},
]
stream = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash",
messages=messages,
stream=True,
stream_options={"include_usage": True},
)
for chunk in stream:
if chunk.usage:
u = chunk.usage
cached = (u.prompt_tokens_details.cached_tokens if u.prompt_tokens_details else 0) or 0
print(f"prompt={u.prompt_tokens} cached={cached} rate={cached / max(1, u.prompt_tokens):.0%}")
Loggen Sie diese Quote einen Tag lang pro Anfrage. Sie zeigt, was Sie tatsächlich zahlen, und sie ist die Zahl, die Sie in den Prompt-Caching-Rechner eintragen. Mehr zu Nutzungsdaten beim Streaming finden Sie im Streaming-Leitfaden.
Wie unterscheidet sich Prompt Caching bei OpenAI, Anthropic und DeepSeek?
Caching ist nicht standardisiert. Das stand in den offiziellen Dokumentationen, als wir sie am 14. November 2026 abgerufen haben:
| OpenAI | Anthropic | DeepSeek (direkte API) | |
|---|---|---|---|
| Aktivierung | Standardmäßig für unterstützte Modelle | Opt-in über ein cache_control-Feld (automatisch oder pro Block) |
Standardmäßig für alle Nutzer |
| Mindestlänge des Prompts | 1.024 Tokens ab GPT-5.6 | 512 bis 4.096 Tokens, je nach Modell | Kein Minimum angegeben |
| Lebensdauer des Caches | Standardmäßig 30 Minuten ab GPT-5.6; Option für 12 Stunden | Standardmäßig 5 Minuten, 1 Stunde gegen Aufpreis | Best Effort; wird bei Nichtnutzung geleert, „a few hours to a few days“ (Übersetzung: „einige Stunden bis einige Tage“) |
| Schreiben | 1,25× Input (30 Minuten) oder 2,5× (12 Stunden) ab GPT-5.6 | 1,25× Input für 5 Minuten, 2× für 1 Stunde | Keine Schreibgebühr erwähnt |
| Lesen | 0,1× Input ab GPT-5.6 (0,05× bei GPT-6.1 Sol und Terra) | 0,1× Input bei den meisten Modellen, bei einigen weniger | Eigener „cache hit“-Preis (Übersetzung: „Cache-Treffer“) |
| Feld in den Nutzungsdaten | cached_tokens in den Token-Details |
cache_read_input_tokens |
prompt_cache_hit_tokens |
Quellen: Leitfaden zu Prompt Caching von OpenAI, Dokumentation zu Prompt Caching von Anthropic und Dokumentation zu Context Caching von DeepSeek. Wo das Schreiben extra kostet, ist ein Cache, der geschrieben, aber nie gelesen wird, teurer als gar kein Cache. Caching lohnt sich nur bei Prompts, die Sie tatsächlich wiederholen. Listenpreise pro Modell vergleichen Sie in der Preistabelle für LLM-APIs.
Was senkt Ihre Cache-Quote?
Caches gleichen ein exaktes Präfix ab, also macht alles, was sich weit vorne im Prompt ändert, den Rest neu. Die üblichen Ursachen:
- ein Zeitstempel, eine Request-ID oder ein Benutzername weit oben im System-Prompt;
- Tool-Definitionen oder JSON, die bei jedem Aufruf in anderer Schlüsselreihenfolge serialisiert werden, was die Tokens verändert;
- ein Agent, der seinen Verlauf umschreibt oder zusammenfasst, statt ihn zu ergänzen;
- lange Pausen, nach denen der Cache abgelaufen ist.
Die Lösung ist eine feste Reihenfolge der Schichten (System-Prompt, Tools, Dokumente, Verlauf, neue Nachricht), wobei jede Schicht zwischen den Aufrufen byte-identisch bleibt. Unser Leitfaden, wie Sie Prompts so strukturieren, dass das Präfix gecacht wird, zeigt diesen Aufbau im Code, mit einem Test, der belegt, dass das Präfix wiederverwendet wird.
Wann spielt Caching keine Rolle mehr?
Bei einer Flatrate hängt die Rechnung überhaupt nicht von Tokens ab. Full Moon kostet $60 im Monat pro Session für unbegrenztes DeepSeek V4.1 Flash. Liegt Ihr Agent bereits über dem Break-even-Punkt, ist die Cache-Quote kein Kostenproblem mehr. Bei langen Prompts helfen die Gewohnheiten oben trotzdem bei der Geschwindigkeit; es lohnt sich also in jedem Fall, sie beizubehalten.
Warum ist Caching bei langem Kontext wichtiger?
DeepSeek V4.1 Flash und GLM 5.3 akzeptieren bis zu 1.048.576 Tokens pro Anfrage. Caching macht sehr lange Prompts mit einem Schlüssel mit Abrechnung pro Token erst bezahlbar, denn der große, wiederholte Teil des Kontextfensters wird zum Cache-Tarif berechnet. Siehe wann sich ein Kontextfenster von 1 Mio. Tokens lohnt.
Wo BroadNet Inference hineinpasst
BroadNet veröffentlicht für jedes Chat-Modell, das einen hat, einen Preis für gecachten Input und meldet gecachte Tokens in den Nutzungsdaten, wenn das Modell sie liefert. So können Sie Ihre Quote messen, bevor Sie sich festlegen. Eine Lebensdauer des Caches oder eine Mindestlänge des Prompts veröffentlicht BroadNet nicht; messen Sie beides an Ihrem eigenen Traffic. Läuft Ihr Agent den ganzen Tag, erübrigt ein Flatrate-Plan die Frage ganz.
