Der Leitfaden zum Kontextfenster mit 1M Tokens behandelt, was in eine Million Tokens passt und was eine Anfrage kostet. Dieser Beitrag beantwortet eine engere Frage, die in jedem Architektur-Review aufkommt: Können wir die Vektordatenbank und die RAG-Pipeline drumherum löschen? Manchmal ja. So entscheiden Sie, entlang von vier Achsen: Kosten, Latenz, Recall und Wartung.
Wann ersetzt Long Context RAG?
Alle vier Bedingungen sollten zutreffen:
- Der Korpus passt. Prompt plus Antwort plus Reasoning bleibt mit Puffer im Kontextfenster. Bei DeepSeek V4.1 Flash und GLM 5.3 umfasst das Fenster 1.048.576 Tokens (die beiden im Vergleich). Der Kontextfenster-Rechner prüft, ob Ihre Dokumente hineinpassen.
- Er ändert sich selten. Ein Handbuch, das monatlich aktualisiert wird, ist in Ordnung. Eine Ticket-Warteschlange, die sich jede Minute ändert, nicht.
- Alle dürfen alles sehen. Ein gemeinsamer Korpus, keine Berechtigungen pro Nutzer, nach denen gefiltert werden muss.
- Die Fragen umspannen den Korpus. „Welche Verträge widersprechen der neuen Richtlinie?“ braucht alles im Blick; „Wie lange ist die Rückgabefrist?“ nicht.
Trifft eine Bedingung nicht zu, behalten Sie das Retrieval oder nutzen Sie einen hybriden Ansatz.
Wie vergleichen sich die Kosten pro Anfrage?
Nehmen Sie einen Dokumentenbestand mit 400.000 Tokens und eine Frage mit einer Antwort von 500 Tokens. RAG holt, sagen wir, 8.000 Tokens an Chunks. Mit einem Pay-as-you-go-Schlüssel und DeepSeek V4.1 Flash:
| Ansatz | Input pro Anfrage | Input-Kosten pro Anfrage |
|---|---|---|
| Long Context, erste Anfrage | 400.000 neu | 0,4 × $0.175 |
| Long Context, Folgeanfrage, Präfix gecacht | etwa 400.000 gecacht | etwa 0,4 × $0.0055 |
| RAG | 8.000 neu | 0,008 × $0.175 |
Die Ausgabe ist in jedem Fall gleich: 500 Tokens × $0.52 pro 1M. (Jeder Faktor ist die Zahl der Tokens in Millionen mal dem Preis pro 1M.)
Daraus folgt dreierlei. Ohne Caching kostet Long Context beim Input pro Anfrage das 50-Fache von RAG, weil es 50-mal so viele Tokens sendet. Mit gecachtem Korpus schrumpft die Lücke deutlich, denn gecachter Input kostet bei diesem Modell nur wenige Prozent von neuem Input. Caching hält aber nur, solange das Präfix byte-identisch bleibt; der Korpus muss also zuerst kommen und stabil bleiben, siehe Prompt-Struktur für Caching. RAG hat eigene Kosten, die diese Tabelle auslässt: das Embedding des Korpus, den Betrieb des Vektorspeichers und die Entwicklungszeit für das Feintuning des Chunkings. Der Embedding-Kostenrechner beziffert den Embedding-Teil. Der RAG-Chunking-Rechner beziffert die Anfrageseite: Chunks, Tokens pro Anfrage und die monatliche LLM-Rechnung.
Was Ihre eigene Cache-Quote wert ist, zeigt der Prompt-Caching-Rechner. Bei einem Pauschalplan entfällt die Input-Spalte: Full Moon kostet $60 pro Monat und Session ohne Token-Zähler, ein Prompt mit 400.000 Tokens kostet also dasselbe wie ein kurzer.
Wie vergleicht sich die Latenz?
Ein Modell liest den ganzen Prompt, bevor es das erste Token schreibt. Die Time to First Token wächst mit der Prompt-Länge, und ein Prompt mit Hunderttausenden Tokens braucht spürbar länger bis zum Start als einer mit 8.000. Gecachte Präfixe helfen in vielen Serving-Systemen. Die Vektorsuche selbst fügt meist wenig hinzu; der Retrieval-Aufruf ist klein im Vergleich zur Generierung.
Für einen interaktiven Assistenten, der in ein bis zwei Sekunden antworten muss, ist RAG also der sicherere Standard. Für eine Analystin, die eine tiefgehende Frage stellt und auf die Antwort wartet, ist Long Context in Ordnung. Messen Sie die TTFT mit Ihren eigenen Prompts in der Größe, die Sie senden wollen.
Was hat den besseren Recall?
Keines ist perfekt, und sie scheitern auf unterschiedliche Weise.
Long Context kann Fakten in der Mitte verlieren (Lost in the Middle). Die Studie Lost in the Middle stellte fest, dass Modelle Informationen am besten nutzten, wenn sie am Anfang oder Ende der Eingabe standen, und schlechter dazwischen. Der Benchmark RULER fand, dass Modelle, die bei einfachen Needle-in-a-Haystack-Tests fast perfekt abschneiden, bei schwierigeren Aufgaben mit wachsender Eingabe nachließen, und dass von den Modellen, die 32K Tokens oder mehr beanspruchen, „only half of them“ (Übersetzung: „nur die Hälfte“) bei 32K eine zufriedenstellende Leistung hielten. Neuere Modelle schneiden besser ab, aber das beworbene Fenster ist nicht dasselbe wie das Fenster, in dem die Qualität hält.
RAG scheitert, bevor das Modell startet: Verfehlt der Retriever die Passage, sieht das Modell sie nie. Fragen, die viele Passagen brauchen oder andere Wörter verwenden als die Quelle, sind die klassischen Fehltreffer.
| Fehlerart | Long Context | RAG |
|---|---|---|
| Fakt mitten im Prompt vergraben | Risiko wächst mit der Länge | Gering, der Prompt ist kurz |
| Antwort braucht 20 verstreute Passagen | Stark | Schwach, außer bei großem top-k |
| Wortlaut der Anfrage weicht von der Quelle ab | Stark | Hängt von Embeddings und Reranking ab |
| Korpus größer als das Fenster | Nicht möglich | Stark |
Zwei Gegenmittel für Long Context: Stellen Sie die Frage ans Ende, nach den Dokumenten, und bitten Sie das Modell, die Zeilen zu zitieren, auf die es sich stützt.
Und die Wartung?
RAG ist ein System: Chunking, Embeddings, ein Index, Neuindexierung bei Änderungen, Berechtigungsfilter, Bewertung der Retrieval-Qualität. Long Context ist ein Prompt: Dateien mit klaren Beschriftungen aneinanderhängen und senden. Für ein kleines Team mit einem Korpus, der hineinpasst, spart das Löschen der Pipeline echte Arbeit. Bei einem großen, sich ändernden Korpus mit Berechtigungen erledigt die Pipeline eine Aufgabe, die Long Context nicht leisten kann.
Der hybride Ansatz, bei dem die meisten Teams landen
- Suchen Sie großzügig, nicht fünf Chunks, sondern ganze Dokumente, bis zu einigen Hunderttausend Tokens.
- Ordnen Sie sie stabil (nach Dokument-ID, nicht nach Score), damit das Präfix über verwandte Fragen hinweg gecacht wird.
- Stellen Sie die Frage ans Ende und senden Sie alles an ein Long-Context-Modell.
- Fordern Sie Zitate mit Verweis auf die Dokumentbeschriftungen an und prüfen Sie diese stichprobenartig.
So behalten Sie die Reichweite von RAG über einen riesigen Korpus und die Fähigkeit von Long Context, über viele Quellen hinweg zu schlussfolgern. Der Ansatz verzeiht auch einen schwächeren Retriever, weil ein knapp verfehltes Dokument trotzdem im Prompt steht.
Wo BroadNet Inference ins Bild passt
BroadNet Inference bietet zwei Modelle mit 1M Tokens, DeepSeek V4.1 Flash und GLM 5.3, und kürzt Ihren Kontext nicht. Eine zu große Anfrage scheitert also, statt still Dokumente zu verlieren. Gecachter Input wird bei einem Schlüssel mit Abrechnung pro Token zum niedrigeren Cache-Preis berechnet, und die unbegrenzten Pläne schaffen den Token-Zähler für DeepSeek V4.1 Flash ganz ab. Die API-Referenz listet Chat Completions und Transkription, keinen Embeddings-Endpoint und keinen Vektorspeicher; für die RAG-Hälfte bringen Sie also Ihre eigenen Komponenten mit. Lassen Sie im Fenster Platz für Reasoning-Tokens; der Leitfaden zu Reasoning erklärt, warum. Die Preise stehen auf der Preisseite.
