BroadRouter
Magsimula

Server-sent events (SSE)

Na-update

Ang server-sent events (SSE) ay web standard kung saan nagpapadala ang server ng tuloy-tuloy na text event sa client sa iisang matagal na HTTP response na may content type na text/event-stream. Ang bawat event ay isa o higit pang field line, gaya ng data:, na tinatapos ng blank line.

Tinatawag ding: SSE sa LLM, event stream ng LLM, SSE, server-sent events, text/event-stream, event stream, EventSource

Ang SSE ang plain-text na framing sa ilalim ng halos lahat ng naka-stream na sagot ng LLM. Nakakatulong ang pagkakilala sa format kapag walang SDK o kapag nagloloko ang stream.

Paano ito gumagana

Ang WHATWG HTML standard ang nagtatakda ng format. May MIME type na text/event-stream ang response at laging UTF-8. Mga linya ng field: value ang body:

: keep-alive comment, ignored by clients

event: update
id: 42
data: first line
data: second line

data: {"choices":[{"delta":{"content":"Hi"}}]}

data: [DONE]

Ang mga patakaran sa pag-parse na mahalaga:

  • Blank line ang nagpapadala ng event. Hangga’t hindi ito dumarating, nagba-buffer ang client.
  • Pinagdurugtong gamit ang newline ang ilang data: line para maging iisang message.
  • Comment ang linyang nagsisimula sa colon. Ipinapadala ito ng mga server para manatiling bukas ang idle na connection.
  • Inaalis ang isang space pagkatapos ng colon. Puwedeng magtapos ang mga linya sa CRLF, LF o CR.
  • Itinatakda ng event, id at retry ang uri ng event, ang ID ng huling event at ang reconnection delay sa millisecond.

Hindi tumutugma ang mga network read sa mga event. Puwedeng kalahating event o tatlong event ang laman ng isang read, kaya dapat mag-buffer ng bytes ang parser at maghati sa mga blank line, hindi sa bawat read.

Reconnection, mga proxy at [DONE]

May built-in na recovery ang standard para sa mga browser: pagkatapos maputol, nagre-reconnect ang EventSource at nagpapadala ng Last-Event-ID header, at kayang ihinto ng server ang mga retry gamit ang HTTP 204. Nagbababala rin ang spec na puwedeng putulin ng mga “legacy proxy servers” (lumang proxy server) ang HTTP connection pagkatapos ng maikling timeout, at iminumungkahi nito ang comment line “every 15 seconds or so” (mga bawat 15 segundo).

Mas kaunti rito ang ginagamit ng mga LLM API. Puro data: line lang ang ipinapadala ng Chat Completions stream ng OpenAI at nagtatapos ito sa data: [DONE], isang kumbensyon ng API, hindi ng SSE. Walang event ID na mapagtutuluyan, kaya hindi na maipagpapatuloy ang naputol na stream; bagong request ang retry. Nasa pahina ng streaming ang pangkalahatang larawan nito at ang benepisyo sa time to first token.

Sa BroadNet Inference

Sinasabi ng docs ng BroadNet na i-set ang stream=true at “read Server-Sent Events until the literal data: [DONE] marker” (Salin ng BroadRouter: “basahin ang Server-Sent Events hanggang sa mismong data: [DONE] marker”). Kung natapos ang connection bago iyon, ituring na hindi kumpleto ang response, i-record ang X-Request-ID header, at pagpasyahan kung ligtas ang bagong inference request. Sa stream_options: {"include_usage": true}, dumarating ang usage sa huling chunk. Gumagamit ng -N ang curl example sa docs para hindi mag-buffer ang curl. Humahawak din ang stream ng isang concurrency slot hanggang matapos ito: 4 sa pay-as-you-go key, isa sa hourly key. Hinihiling ng docs na i-verify ang streaming bawat model bago mag-production. Nasa streaming guide ang code para sa bawat SDK, at ipinapaliwanag ang laman ng mga chunk sa LLM streaming explained.

Mga tanong

Puwede ko bang gamitin ang EventSource API ng browser sa isang LLM API?

Kadalasan hindi direkta. URL at withCredentials flag lang ang tinatanggap ng EventSource constructor sa spec, kaya hindi ito makapagpadala ng POST body o Authorization header. Gumamit ng fetch at i-parse mismo ang stream, o gumamit ng SDK.

Ano ang ibig sabihin ng "data: [DONE]"?

Hindi ito bahagi ng SSE standard. Ipinapadala ng mga OpenAI-style na API ang mismong linyang "data: [DONE]" bilang huling event para sabihing kumpleto na ang sagot.

Bakit sabay-sabay dumarating ang stream ko?

May nagba-buffer ng response sa pagitan ng server at ng code mo, gaya ng reverse proxy, framework, o curl na walang -N. Patayin ang buffering para sa route na iyon.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity