BroadRouter
Comenzar

Server-sent events (SSE)

Actualizado

Server-sent events (SSE), o eventos enviados por el servidor, es un estándar web para que un servidor envíe un flujo de eventos de texto a un cliente a través de una única respuesta HTTP de larga duración con el tipo de contenido text/event-stream. Cada evento es una o más líneas de campo, como data:, terminadas por una línea en blanco.

También llamado: SSE, eventos enviados por el servidor, eventos del servidor, flujo de eventos, server-sent events, text/event-stream, event stream, EventSource

SSE es el formato de texto plano que hay debajo de casi toda respuesta de LLM en streaming. Conocer el formato ayuda cuando no hay un SDK disponible o un stream se comporta mal.

Cómo funciona

El estándar HTML de WHATWG define el formato. La respuesta tiene el tipo MIME text/event-stream y siempre está en UTF-8. El cuerpo son líneas field: value:

: keep-alive comment, ignored by clients

event: update
id: 42
data: first line
data: second line

data: {"choices":[{"delta":{"content":"Hi"}}]}

data: [DONE]

Las reglas de procesamiento que importan:

  • Una línea en blanco despacha el evento. Hasta que llega, el cliente acumula en búfer.
  • Varias líneas data: se unen con saltos de línea en un solo mensaje.
  • Una línea que empieza con dos puntos es un comentario. Los servidores los envían para mantener abiertas las conexiones inactivas.
  • Se elimina un espacio después de los dos puntos. Las líneas pueden terminar en CRLF, LF o CR.
  • event, id y retry definen el tipo de evento, el ID del último evento y el retraso de reconexión en milisegundos.

Las lecturas de red no coinciden con los eventos. Una lectura puede contener medio evento o tres, así que un parser debe acumular bytes y dividir por líneas en blanco, no por lecturas.

Reconexión, proxies y [DONE]

El estándar incorpora recuperación para los navegadores: tras una caída, EventSource se reconecta y envía un encabezado Last-Event-ID, y un servidor puede detener los reintentos con HTTP 204. La especificación también advierte que los “legacy proxy servers” (traducción: servidores proxy heredados) pueden cortar conexiones HTTP tras un tiempo de espera corto, y sugiere una línea de comentario “every 15 seconds or so” (traducción: cada 15 segundos aproximadamente).

Las APIs de LLM usan menos de esto. El stream de Chat Completions de OpenAI solo envía líneas data: y termina con data: [DONE], una convención de la API, no de SSE. No hay un ID de evento desde el que reanudar, así que un stream cortado no se puede continuar; un reintento es una solicitud nueva. El panorama general del streaming y su ventaja en el tiempo hasta el primer token se explican en esa página.

En BroadNet Inference

La documentación de BroadNet indica configurar stream=true y “read Server-Sent Events until the literal data: [DONE] marker” (traducción: leer los server-sent events hasta el marcador literal data: [DONE]). Si la conexión termina antes, trate la respuesta como incompleta, registre el encabezado X-Request-ID y decida si es seguro enviar una nueva solicitud de inferencia. Con stream_options: {"include_usage": true}, el uso llega en el último fragmento. El ejemplo de curl de la documentación usa -N para que curl no use búfer. Un stream también ocupa un espacio de concurrencia hasta que termina: 4 en una clave de pago por uso, uno en una clave por hora. La documentación pide verificar el streaming con cada modelo antes de pasar a producción. El código para cada SDK está en la guía de streaming, y el contenido de los fragmentos se explica en streaming de LLM explicado.

Preguntas frecuentes

¿Puedo usar la API EventSource del navegador con una API de LLM?

Normalmente no de forma directa. El constructor EventSource de la especificación solo acepta una URL y un indicador withCredentials, así que no puede enviar un cuerpo POST ni un encabezado Authorization. Use fetch y procese el flujo usted mismo, o use un SDK.

¿Qué significa "data: [DONE]"?

No forma parte del estándar SSE. Las APIs al estilo de OpenAI envían la línea literal "data: [DONE]" como último evento para indicar que la respuesta está completa.

¿Por qué mi stream llega todo de golpe?

Algo entre el servidor y su código está almacenando la respuesta en búfer, como un proxy inverso, un framework o curl sin -N. Desactive el búfer para esa ruta.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity