SSE — это простая текстовая разметка, на которой держится почти каждый потоковый ответ LLM. Знание формата пригодится, когда SDK под рукой нет или поток ведёт себя странно.
Как это работает
Формат определяет стандарт WHATWG HTML. Ответ имеет MIME-тип text/event-stream и всегда в UTF-8. Тело состоит из строк вида field: value:
: keep-alive comment, ignored by clients
event: update
id: 42
data: first line
data: second line
data: {"choices":[{"delta":{"content":"Hi"}}]}
data: [DONE]
Правила разбора, которые важны:
- Пустая строка отправляет событие. Пока её нет, клиент буферизует данные.
- Несколько строк
data:склеиваются через перевод строки в одно сообщение. - Строка, начинающаяся с двоеточия, — комментарий. Серверы шлют такие строки, чтобы простаивающее соединение не закрылось.
- Один пробел после двоеточия отбрасывается. Строки могут заканчиваться на CRLF, LF или CR.
event,idиretryзадают тип события, ID последнего события и задержку переподключения в миллисекундах.
Сетевые чтения не совпадают с границами событий. Одно чтение может содержать половину события или сразу три, поэтому парсер должен буферизовать байты и делить их по пустым строкам, а не по чтениям.
Переподключение, прокси и [DONE]
Стандарт встраивает восстановление для браузеров: после обрыва EventSource переподключается и отправляет заголовок Last-Event-ID, а сервер может остановить повторы ответом HTTP 204. Спецификация также предупреждает, что “legacy proxy servers” (перевод: «устаревшие прокси-серверы») могут разрывать HTTP-соединения после короткого тайм-аута, и советует отправлять строку-комментарий “every 15 seconds or so” (перевод: «примерно каждые 15 секунд»).
API языковых моделей используют лишь часть этого. Поток Chat Completions у OpenAI отправляет только строки data: и заканчивается на data: [DONE] — это соглашение самого API, а не SSE. ID события, с которого можно продолжить, нет, поэтому оборванный поток не возобновить; повтор — это новый запрос. Общая картина стриминга и выигрыш во времени до первого токена описаны на той странице.
В BroadNet Inference
Документация BroadNet предписывает задать stream=true и “read Server-Sent Events until the literal data: [DONE] marker” (перевод: «читать Server-Sent Events до буквального маркера data: [DONE]»). Если соединение закончилось раньше, считайте ответ неполным, сохраните заголовок X-Request-ID и решите, безопасен ли новый запрос к инференсу. С stream_options: {"include_usage": true} данные об использовании приходят в последнем чанке. В примере curl из документации используется -N, чтобы curl не буферизовал вывод. Поток также занимает один слот параллельности до своего конца: 4 на ключе с оплатой по факту, один на почасовом ключе. Документация просит проверить стриминг для каждой модели до продакшена. Код для каждого SDK есть в руководстве по стримингу, а содержимое чанков разобрано в статье Стриминг LLM: как это устроено.