BroadRouter

Streaming de chat completions y conexiones interrumpidas

Actualizado

Configure stream en true en /v1/chat/completions y lea los Server-Sent Events hasta el marcador literal data: [DONE]. Agregue stream_options include_usage para recibir los conteos de tokens en el último fragmento. Si la conexión termina antes de [DONE], considere la respuesta incompleta y registre el X-Request-ID.

El streaming permite que un agente o una interfaz de chat muestre la respuesta a medida que se genera. BroadNet Inference usa el formato estándar de streaming de chat completions, así que el SDK de OpenAI para Python y el SDK de OpenAI para Node se encargan del procesamiento por usted.

Con curl

curl -N -D stream-headers.txt https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count from one to three."}]}'

-N desactiva el búfer de curl y -D guarda los encabezados, incluido X-Request-ID.

¿Cómo se ve el stream?

La respuesta es un stream de Server-Sent Events. Según el estándar HTML de WHATWG, cada evento es una o más líneas data: seguidas de una línea en blanco, y una línea que empieza con dos puntos es un comentario que puede ignorar. Cada línea data: contiene un fragmento JSON, y el texto llega en choices[0].delta.content.

Las reglas

  1. Lea eventos hasta la línea literal data: [DONE] y luego cierre el lector.
  2. Con stream_options: {"include_usage": true}, justo antes de [DONE] llega un fragmento adicional. Trae usage de toda la solicitud y una lista choices vacía, así que revise choices antes de acceder a un índice.
  3. Cuando el modelo los informa, ese uso incluye completion_tokens_details.reasoning_tokens (DeepSeek V4.1 Flash, GLM 5.3 y Qwen3.8 27B razonan primero) y prompt_tokens_details.cached_tokens. Los tokens en caché se facturan al precio más bajo de entrada en caché.

Con el SDK de Python

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

stream = client.chat.completions.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Count from one to three."}],
    stream=True,
    stream_options={"include_usage": True},
)
usage = None
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if chunk.usage:
        usage = chunk.usage
print()
print(usage)  # None means the stream ended before the usage chunk

El SDK lee hasta [DONE] por usted. La guía del SDK de OpenAI para Node muestra el mismo bucle en JavaScript.

Cuando el stream termina antes de tiempo

Si la conexión se cierra antes de [DONE], la respuesta está incompleta. Las indicaciones de BroadNet:

  • registre el X-Request-ID;
  • decida si su aplicación puede hacer de forma segura una solicitud nueva. Un reintento es una nueva inferencia y se factura de nuevo en el pago por uso.

Para agentes en un plan ilimitado, los reintentos no cuestan nada extra, pero siguen ocupando la sesión mientras se ejecutan.

La documentación de BroadNet indica que todavía se requiere una verificación por modelo antes de depender del streaming en producción, así que pruébelo con el modelo que va a usar.

Solución de problemas

  • Todo se imprime al final. curl necesita -N. Detrás de su propio proxy, desactive el búfer de respuestas para text/event-stream.
  • IndexError o undefined en el último fragmento. El fragmento de uso tiene una lista choices vacía. Revise chunk.choices antes de leer [0].
  • No hay uso. No envió stream_options, o el stream se cortó antes del último fragmento.
  • El stream se detiene con finish_reason length y poco texto. Un modelo de razonamiento gastó max_tokens en razonar. Consulte por qué los modelos de razonamiento devuelven respuestas vacías.
  • 429 al hacer streaming en paralelo. Cada stream abierto cuenta como una solicitud en curso; una clave de pago por uso permite 4. Consulte códigos de error de BroadNet y reintentos.

Preguntas frecuentes

¿Cómo obtengo el uso de tokens al hacer streaming de chat completions?

Envíe stream_options con include_usage en true. Justo antes de data: [DONE] llega un fragmento adicional, con usage completo y un arreglo choices vacío. Si el stream se corta antes, ese fragmento nunca llega.

¿Por qué curl imprime toda la respuesta en streaming de una sola vez?

curl usa un búfer de salida de forma predeterminada. Agregue la opción -N (sin búfer) para que cada Server-Sent Event se imprima al llegar.

¿Se factura dos veces un stream reintentado?

En el pago por uso, sí: un reintento es una nueva solicitud de inferencia. En un plan ilimitado de DeepSeek V4.1 Flash no hay medidor de tokens, pero el reintento sigue ocupando la sesión mientras se ejecuta.

¿El streaming cuesta más que una solicitud normal?

No. El streaming cambia cómo se entrega la respuesta, no cómo se factura. En el pago por uso paga los mismos precios por token de entrada y de salida que en una solicitud sin streaming.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity