BroadRouter

Chat Completions streamen und abgebrochene Verbindungen behandeln

Aktualisiert

Setzen Sie stream auf true bei /v1/chat/completions und lesen Sie die Server-Sent Events bis zum wörtlichen Marker data: [DONE]. Mit stream_options include_usage erhalten Sie die Token-Zahlen im letzten Chunk. Endet die Verbindung vor [DONE], behandeln Sie die Antwort als unvollständig und loggen Sie die X-Request-ID.

Mit Streaming zeigt ein Agent oder eine Chat-Oberfläche die Antwort schon während der Generierung an. BroadNet Inference verwendet das übliche Streaming-Format von Chat Completions, daher übernehmen das OpenAI Python SDK und das OpenAI Node SDK das Parsen für Sie.

Mit curl

curl -N -D stream-headers.txt https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count from one to three."}]}'

-N schaltet die Pufferung von curl ab, und -D speichert die Header, einschließlich X-Request-ID.

Wie sieht der Stream aus?

Die Antwort ist ein Stream aus Server-Sent Events. Nach dem WHATWG HTML Standard besteht jedes Event aus einer oder mehreren data:-Zeilen, gefolgt von einer Leerzeile; eine Zeile, die mit einem Doppelpunkt beginnt, ist ein Kommentar, den Sie ignorieren können. Jede data:-Zeile enthält einen JSON-Chunk, und der Text kommt in choices[0].delta.content an.

Die Regeln

  1. Lesen Sie Events bis zur wörtlichen Zeile data: [DONE] und schließen Sie dann den Reader.
  2. Mit stream_options: {"include_usage": true} kommt kurz vor [DONE] ein zusätzlicher Chunk. Er trägt usage für die gesamte Anfrage und eine leere choices-Liste. Prüfen Sie choices also, bevor Sie darauf zugreifen.
  3. Sofern das Modell sie meldet, enthält diese Nutzung completion_tokens_details.reasoning_tokens (DeepSeek V4.1 Flash, GLM 5.3 und Qwen3.8 27B denken zuerst nach) und prompt_tokens_details.cached_tokens. Gecachte Tokens werden zum niedrigeren Preis für gecachten Input berechnet.

Mit dem Python SDK

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

stream = client.chat.completions.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Count from one to three."}],
    stream=True,
    stream_options={"include_usage": True},
)
usage = None
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if chunk.usage:
        usage = chunk.usage
print()
print(usage)  # None means the stream ended before the usage chunk

Das SDK liest für Sie bis [DONE]. Gibt das letzte print den Wert None aus, endete der Stream vor dem Usage-Chunk. Die Anleitung zum OpenAI Node SDK zeigt dieselbe Schleife in JavaScript.

Wenn der Stream zu früh endet

Schließt sich die Verbindung vor [DONE], ist die Antwort unvollständig. Die Empfehlung von BroadNet:

  • Halten Sie die X-Request-ID fest.
  • Entscheiden Sie, ob Ihre Anwendung gefahrlos eine neue Anfrage stellen kann. Ein Retry ist eine neue Inferenz und wird bei Pay-as-you-go erneut berechnet.

Für Agenten mit einem unbegrenzten Plan kosten Retries nichts extra, belegen die Session aber, solange sie laufen.

Laut der Dokumentation von BroadNet ist weiterhin eine Freigabeprüfung pro Modell nötig, bevor Sie sich in Produktion auf Streaming verlassen. Testen Sie es also mit dem Modell, das Sie tatsächlich einsetzen.

Fehlerbehebung

  • Alles erscheint erst am Ende. curl braucht -N. Hinter einem eigenen Proxy schalten Sie die Antwortpufferung für text/event-stream ab.
  • IndexError oder undefined beim letzten Chunk. Der Usage-Chunk hat eine leere choices-Liste. Prüfen Sie chunk.choices, bevor Sie [0] lesen.
  • Überhaupt keine Nutzungsdaten. Sie haben stream_options nicht gesendet, oder der Stream brach vor dem letzten Chunk ab.
  • Stream endet mit finish_reason length und wenig Text. Ein Reasoning-Modell hat max_tokens für das Reasoning verbraucht. Siehe warum Reasoning-Modelle leere Antworten liefern.
  • 429 beim parallelen Streaming. Jeder offene Stream zählt als laufende Anfrage; ein Pay-as-you-go-Schlüssel erlaubt 4. Siehe Fehlercodes und Retries bei BroadNet.

Häufige Fragen

Wie bekomme ich die Token-Nutzung beim Streaming von Chat Completions?

Senden Sie stream_options mit include_usage auf true. Kurz vor data: [DONE] kommt dann ein zusätzlicher Chunk mit ausgefülltem usage und leerem choices-Array. Bricht der Stream vorher ab, kommt dieser Chunk nie an.

Warum gibt curl die gestreamte Antwort auf einmal aus?

curl puffert seine Ausgabe standardmäßig. Mit dem Flag -N (keine Pufferung) wird jedes Server-Sent Event ausgegeben, sobald es ankommt.

Wird ein wiederholter Stream doppelt berechnet?

Bei Pay-as-you-go ja. Ein Retry ist eine neue Inferenz-Anfrage. Bei einem unbegrenzten Plan für DeepSeek V4.1 Flash gibt es keinen Token-Zähler, aber der Retry belegt die Session, solange er läuft.

Kostet Streaming mehr als eine normale Anfrage?

Nein. Streaming ändert, wie die Antwort ausgeliefert wird, nicht, wie sie abgerechnet wird. Bei Pay-as-you-go zahlen Sie dieselben Preise pro Input- und Output-Token wie bei einer Anfrage ohne Streaming.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen