El streaming permite que un agente o una interfaz de chat muestre la respuesta a medida que se genera. BroadNet Inference usa el formato estándar de streaming de chat completions, así que el SDK de OpenAI para Python y el SDK de OpenAI para Node se encargan del procesamiento por usted.
Con curl
curl -N -D stream-headers.txt https://inference.broadnet.ai/v1/chat/completions \
-H "Authorization: Bearer $BROADNET_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count from one to three."}]}'
-N desactiva el búfer de curl y -D guarda los encabezados, incluido X-Request-ID.
¿Cómo se ve el stream?
La respuesta es un stream de Server-Sent Events. Según el estándar HTML de WHATWG, cada evento es una o más líneas data: seguidas de una línea en blanco, y una línea que empieza con dos puntos es un comentario que puede ignorar. Cada línea data: contiene un fragmento JSON, y el texto llega en choices[0].delta.content.
Las reglas
- Lea eventos hasta la línea literal
data: [DONE]y luego cierre el lector. - Con
stream_options: {"include_usage": true}, justo antes de[DONE]llega un fragmento adicional. Traeusagede toda la solicitud y una listachoicesvacía, así que revisechoicesantes de acceder a un índice. - Cuando el modelo los informa, ese uso incluye
completion_tokens_details.reasoning_tokens(DeepSeek V4.1 Flash, GLM 5.3 y Qwen3.8 27B razonan primero) yprompt_tokens_details.cached_tokens. Los tokens en caché se facturan al precio más bajo de entrada en caché.
Con el SDK de Python
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
stream = client.chat.completions.create(
model="broadnet/gemma-4-26b-a4b",
messages=[{"role": "user", "content": "Count from one to three."}],
stream=True,
stream_options={"include_usage": True},
)
usage = None
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
if chunk.usage:
usage = chunk.usage
print()
print(usage) # None means the stream ended before the usage chunk
El SDK lee hasta [DONE] por usted. La guía del SDK de OpenAI para Node muestra el mismo bucle en JavaScript.
Cuando el stream termina antes de tiempo
Si la conexión se cierra antes de [DONE], la respuesta está incompleta. Las indicaciones de BroadNet:
- registre el
X-Request-ID; - decida si su aplicación puede hacer de forma segura una solicitud nueva. Un reintento es una nueva inferencia y se factura de nuevo en el pago por uso.
Para agentes en un plan ilimitado, los reintentos no cuestan nada extra, pero siguen ocupando la sesión mientras se ejecutan.
La documentación de BroadNet indica que todavía se requiere una verificación por modelo antes de depender del streaming en producción, así que pruébelo con el modelo que va a usar.
Solución de problemas
- Todo se imprime al final. curl necesita
-N. Detrás de su propio proxy, desactive el búfer de respuestas paratext/event-stream. IndexErroroundefineden el último fragmento. El fragmento de uso tiene una listachoicesvacía. Revisechunk.choicesantes de leer[0].- No hay uso. No envió
stream_options, o el stream se cortó antes del último fragmento. - El stream se detiene con
finish_reasonlengthy poco texto. Un modelo de razonamiento gastómax_tokensen razonar. Consulte por qué los modelos de razonamiento devuelven respuestas vacías. - 429 al hacer streaming en paralelo. Cada stream abierto cuenta como una solicitud en curso; una clave de pago por uso permite 4. Consulte códigos de error de BroadNet y reintentos.
