SSE es el formato de texto plano que hay debajo de casi toda respuesta de LLM en streaming. Conocer el formato ayuda cuando no hay un SDK disponible o un stream se comporta mal.
Cómo funciona
El estándar HTML de WHATWG define el formato. La respuesta tiene el tipo MIME text/event-stream y siempre está en UTF-8. El cuerpo son líneas field: value:
: keep-alive comment, ignored by clients
event: update
id: 42
data: first line
data: second line
data: {"choices":[{"delta":{"content":"Hi"}}]}
data: [DONE]
Las reglas de procesamiento que importan:
- Una línea en blanco despacha el evento. Hasta que llega, el cliente acumula en búfer.
- Varias líneas
data:se unen con saltos de línea en un solo mensaje. - Una línea que empieza con dos puntos es un comentario. Los servidores los envían para mantener abiertas las conexiones inactivas.
- Se elimina un espacio después de los dos puntos. Las líneas pueden terminar en CRLF, LF o CR.
event,idyretrydefinen el tipo de evento, el ID del último evento y el retraso de reconexión en milisegundos.
Las lecturas de red no coinciden con los eventos. Una lectura puede contener medio evento o tres, así que un parser debe acumular bytes y dividir por líneas en blanco, no por lecturas.
Reconexión, proxies y [DONE]
El estándar incorpora recuperación para los navegadores: tras una caída, EventSource se reconecta y envía un encabezado Last-Event-ID, y un servidor puede detener los reintentos con HTTP 204. La especificación también advierte que los “legacy proxy servers” (traducción: servidores proxy heredados) pueden cortar conexiones HTTP tras un tiempo de espera corto, y sugiere una línea de comentario “every 15 seconds or so” (traducción: cada 15 segundos aproximadamente).
Las APIs de LLM usan menos de esto. El stream de Chat Completions de OpenAI solo envía líneas data: y termina con data: [DONE], una convención de la API, no de SSE. No hay un ID de evento desde el que reanudar, así que un stream cortado no se puede continuar; un reintento es una solicitud nueva. El panorama general del streaming y su ventaja en el tiempo hasta el primer token se explican en esa página.
En BroadNet Inference
La documentación de BroadNet indica configurar stream=true y “read Server-Sent Events until the literal data: [DONE] marker” (traducción: leer los server-sent events hasta el marcador literal data: [DONE]). Si la conexión termina antes, trate la respuesta como incompleta, registre el encabezado X-Request-ID y decida si es seguro enviar una nueva solicitud de inferencia. Con stream_options: {"include_usage": true}, el uso llega en el último fragmento. El ejemplo de curl de la documentación usa -N para que curl no use búfer. Un stream también ocupa un espacio de concurrencia hasta que termina: 4 en una clave de pago por uso, uno en una clave por hora. La documentación pide verificar el streaming con cada modelo antes de pasar a producción. El código para cada SDK está en la guía de streaming, y el contenido de los fragmentos se explica en streaming de LLM explicado.