BroadRouter
Начать

Server-sent events (SSE)

Обновлено

Server-sent events (SSE) — это веб-стандарт, по которому сервер передаёт клиенту поток текстовых событий в одном долгоживущем HTTP-ответе с типом содержимого text/event-stream. Каждое событие — одна или несколько строк-полей, например data:, и завершается пустой строкой.

Также называют: SSE, серверные события, события, отправляемые сервером, SSE-поток, server-sent events, text/event-stream, event stream, EventSource

SSE — это простая текстовая разметка, на которой держится почти каждый потоковый ответ LLM. Знание формата пригодится, когда SDK под рукой нет или поток ведёт себя странно.

Как это работает

Формат определяет стандарт WHATWG HTML. Ответ имеет MIME-тип text/event-stream и всегда в UTF-8. Тело состоит из строк вида field: value:

: keep-alive comment, ignored by clients

event: update
id: 42
data: first line
data: second line

data: {"choices":[{"delta":{"content":"Hi"}}]}

data: [DONE]

Правила разбора, которые важны:

  • Пустая строка отправляет событие. Пока её нет, клиент буферизует данные.
  • Несколько строк data: склеиваются через перевод строки в одно сообщение.
  • Строка, начинающаяся с двоеточия, — комментарий. Серверы шлют такие строки, чтобы простаивающее соединение не закрылось.
  • Один пробел после двоеточия отбрасывается. Строки могут заканчиваться на CRLF, LF или CR.
  • event, id и retry задают тип события, ID последнего события и задержку переподключения в миллисекундах.

Сетевые чтения не совпадают с границами событий. Одно чтение может содержать половину события или сразу три, поэтому парсер должен буферизовать байты и делить их по пустым строкам, а не по чтениям.

Переподключение, прокси и [DONE]

Стандарт встраивает восстановление для браузеров: после обрыва EventSource переподключается и отправляет заголовок Last-Event-ID, а сервер может остановить повторы ответом HTTP 204. Спецификация также предупреждает, что “legacy proxy servers” (перевод: «устаревшие прокси-серверы») могут разрывать HTTP-соединения после короткого тайм-аута, и советует отправлять строку-комментарий “every 15 seconds or so” (перевод: «примерно каждые 15 секунд»).

API языковых моделей используют лишь часть этого. Поток Chat Completions у OpenAI отправляет только строки data: и заканчивается на data: [DONE] — это соглашение самого API, а не SSE. ID события, с которого можно продолжить, нет, поэтому оборванный поток не возобновить; повтор — это новый запрос. Общая картина стриминга и выигрыш во времени до первого токена описаны на той странице.

В BroadNet Inference

Документация BroadNet предписывает задать stream=true и “read Server-Sent Events until the literal data: [DONE] marker” (перевод: «читать Server-Sent Events до буквального маркера data: [DONE]»). Если соединение закончилось раньше, считайте ответ неполным, сохраните заголовок X-Request-ID и решите, безопасен ли новый запрос к инференсу. С stream_options: {"include_usage": true} данные об использовании приходят в последнем чанке. В примере curl из документации используется -N, чтобы curl не буферизовал вывод. Поток также занимает один слот параллельности до своего конца: 4 на ключе с оплатой по факту, один на почасовом ключе. Документация просит проверить стриминг для каждой модели до продакшена. Код для каждого SDK есть в руководстве по стримингу, а содержимое чанков разобрано в статье Стриминг LLM: как это устроено.

Вопросы и ответы

Можно ли использовать браузерный EventSource с API языковой модели?

Обычно не напрямую. Конструктор EventSource по спецификации принимает только URL и флаг withCredentials, поэтому не может отправить тело POST-запроса или заголовок Authorization. Используйте fetch и разбирайте поток сами или возьмите SDK.

Что означает "data: [DONE]"?

Это не часть стандарта SSE. API в стиле OpenAI отправляют буквальную строку "data: [DONE]" последним событием, чтобы сообщить, что ответ завершён.

Почему поток приходит целиком, а не по частям?

Что-то между сервером и вашим кодом буферизует ответ: обратный прокси, фреймворк или curl без -N. Отключите буферизацию для этого маршрута.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity