लगभग हर स्ट्रीम किए गए LLM जवाब के नीचे SSE का सादा टेक्स्ट ढाँचा होता है। जब कोई SDK उपलब्ध न हो या स्ट्रीम गड़बड़ करे, तब इस फ़ॉर्मैट की समझ काम आती है।
यह कैसे काम करता है
WHATWG HTML स्टैंडर्ड यह फ़ॉर्मैट तय करता है। जवाब का MIME टाइप text/event-stream होता है और वह हमेशा UTF-8 में होता है। बॉडी field: value वाली लाइनों से बनी होती है:
: keep-alive comment, ignored by clients
event: update
id: 42
data: first line
data: second line
data: {"choices":[{"delta":{"content":"Hi"}}]}
data: [DONE]
पार्सिंग के ज़रूरी नियम:
- ख़ाली लाइन event को भेजती (dispatch करती) है. जब तक वह न आए, क्लाइंट बफ़र करता रहता है।
- कई
data:लाइनें newline से जुड़कर एक मैसेज बनती हैं। - कोलन से शुरू होने वाली लाइन कमेंट है. सर्वर इन्हें निष्क्रिय कनेक्शन खुले रखने के लिए भेजते हैं।
- कोलन के बाद का एक स्पेस हटा दिया जाता है. लाइनें CRLF, LF या CR पर ख़त्म हो सकती हैं।
event,idऔरretryevent का टाइप, आख़िरी event ID और मिलीसेकंड में री-कनेक्शन की देरी तय करते हैं।
नेटवर्क से पढ़ा गया डेटा events के साथ मेल नहीं खाता। एक बार की रीड में आधा event हो सकता है या तीन events, इसलिए पार्सर को बाइट बफ़र करके ख़ाली लाइनों पर बाँटना चाहिए, रीड के हिसाब से नहीं।
री-कनेक्शन, प्रॉक्सी और [DONE]
स्टैंडर्ड में ब्राउज़र के लिए रिकवरी पहले से है: कनेक्शन टूटने के बाद EventSource दोबारा जुड़ता है और Last-Event-ID हेडर भेजता है, और सर्वर HTTP 204 से री-ट्राई रोक सकता है। स्पेक यह चेतावनी भी देता है कि “legacy proxy servers” (अनुवाद: पुराने प्रॉक्सी सर्वर) थोड़े टाइमआउट के बाद HTTP कनेक्शन तोड़ सकते हैं, और “every 15 seconds or so” (अनुवाद: लगभग हर 15 सेकंड में) एक कमेंट लाइन भेजने का सुझाव देता है।
LLM API इसमें से कम इस्तेमाल करते हैं। OpenAI की Chat Completions स्ट्रीम सिर्फ़ data: लाइनें भेजती है और data: [DONE] पर ख़त्म होती है, जो API की परिपाटी है, SSE की नहीं। फिर से शुरू करने के लिए कोई event ID नहीं होता, इसलिए टूटी स्ट्रीम आगे नहीं बढ़ाई जा सकती; री-ट्राई एक नया अनुरोध है। स्ट्रीमिंग की पूरी तस्वीर और पहले टोकन तक के समय का फ़ायदा उसी पेज पर है।
BroadNet Inference पर
BroadNet के डॉक्स stream=true सेट करने और “read Server-Sent Events until the literal data: [DONE] marker” (अनुवाद: ठीक data: [DONE] मार्कर आने तक Server-Sent Events पढ़ें) कहते हैं। अगर कनेक्शन उससे पहले ख़त्म हो जाए, तो जवाब को अधूरा मानें, X-Request-ID हेडर रिकॉर्ड करें, और तय करें कि नया इन्फ़रेंस अनुरोध भेजना सुरक्षित है या नहीं। stream_options: {"include_usage": true} के साथ usage आख़िरी chunk में आता है। डॉक्स का curl उदाहरण -N इस्तेमाल करता है ताकि curl बफ़र न करे। स्ट्रीम ख़त्म होने तक एक कॉन्करेंसी स्लॉट भी घेरे रहती है: उपयोग के अनुसार भुगतान वाली key पर 4, घंटे वाली key पर एक। डॉक्स कहते हैं कि प्रोडक्शन से पहले हर मॉडल पर स्ट्रीमिंग जाँच लें। हर SDK का कोड स्ट्रीमिंग गाइड में है, और chunk के अंदर क्या होता है, यह LLM स्ट्रीमिंग की व्याख्या में समझाया गया है।