Le streaming permet à un agent ou à une interface de chat d’afficher la réponse au fil de sa génération. BroadNet Inference utilise le format de streaming standard des chat completions : le SDK Python d’OpenAI et le SDK Node d’OpenAI se chargent de l’analyse pour vous.
Avec curl
curl -N -D stream-headers.txt https://inference.broadnet.ai/v1/chat/completions \
-H "Authorization: Bearer $BROADNET_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count from one to three."}]}'
-N désactive la mise en mémoire tampon de curl, et -D enregistre les en-têtes, dont X-Request-ID.
À quoi ressemble le flux ?
La réponse est un flux de Server-Sent Events. Selon le standard HTML du WHATWG, chaque événement se compose d’une ou plusieurs lignes data: suivies d’une ligne vide, et une ligne qui commence par un deux-points est un commentaire que vous pouvez ignorer. Chaque ligne data: contient un chunk JSON, et le texte arrive dans choices[0].delta.content.
Les règles
- Lisez les événements jusqu’à la ligne littérale
data: [DONE], puis fermez le lecteur. - Avec
stream_options: {"include_usage": true}, un chunk supplémentaire arrive juste avant[DONE]. Il porteusagepour toute la requête et une listechoicesvide : vérifiez doncchoicesavant d’y accéder par index. - Quand le modèle les fournit, cet usage inclut
completion_tokens_details.reasoning_tokens(DeepSeek V4.1 Flash, GLM 5.3 et Qwen3.8 27B raisonnent d’abord) etprompt_tokens_details.cached_tokens. Les tokens en cache sont facturés au prix réduit de l’entrée en cache.
Avec le SDK Python
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
stream = client.chat.completions.create(
model="broadnet/gemma-4-26b-a4b",
messages=[{"role": "user", "content": "Count from one to three."}],
stream=True,
stream_options={"include_usage": True},
)
usage = None
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
if chunk.usage:
usage = chunk.usage
print()
print(usage) # None means the stream ended before the usage chunk
Le SDK lit jusqu’à [DONE] à votre place. Si le dernier print affiche None, le flux s’est terminé avant le chunk d’usage. Le guide du SDK Node d’OpenAI montre la même boucle en JavaScript.
Quand le flux s’arrête trop tôt
Si la connexion se ferme avant [DONE], la réponse est incomplète. Les recommandations de BroadNet :
- notez le
X-Request-ID; - décidez si votre application peut sans risque envoyer une nouvelle requête. Une nouvelle tentative est une nouvelle inférence, facturée à nouveau en paiement à l’usage.
Pour les agents sur un forfait illimité, les nouvelles tentatives ne coûtent rien de plus, mais elles occupent la session pendant leur exécution.
La documentation de BroadNet indique qu’une vérification de mise en production par modèle reste nécessaire avant de compter sur le streaming en production : testez-le donc sur le modèle que vous déployez.
Dépannage
- Tout s’affiche à la fin. curl a besoin de
-N. Derrière votre propre proxy, désactivez la mise en tampon des réponses pourtext/event-stream. IndexErrorouundefinedsur le dernier chunk. Le chunk d’usage a une listechoicesvide. Vérifiezchunk.choicesavant de lire[0].- Aucun usage. Vous n’avez pas envoyé
stream_options, ou le flux s’est coupé avant le dernier chunk. - Le flux s’arrête avec
finish_reasonlengthet peu de texte. Un modèle de raisonnement a consommémax_tokensen raisonnant. Voir pourquoi les modèles de raisonnement renvoient des réponses vides. - 429 en streaming parallèle. Chaque flux ouvert compte comme une requête en cours ; une clé à l’usage en autorise 4. Voir codes d’erreur et nouvelles tentatives chez BroadNet.
