تقریباً ہر اسٹریم کیے گئے LLM جواب کے نیچے SSE کا سادہ متنی ڈھانچہ ہوتا ہے۔ جب کوئی SDK دستیاب نہ ہو یا اسٹریم گڑبڑ کرے، تب اس فارمیٹ کی سمجھ کام آتی ہے۔
یہ کیسے کام کرتا ہے
WHATWG HTML معیار یہ فارمیٹ طے کرتا ہے۔ جواب کا MIME ٹائپ text/event-stream ہوتا ہے اور وہ ہمیشہ UTF-8 میں ہوتا ہے۔ باڈی field: value والی لائنوں سے بنی ہوتی ہے:
: keep-alive comment, ignored by clients
event: update
id: 42
data: first line
data: second line
data: {"choices":[{"delta":{"content":"Hi"}}]}
data: [DONE]
پارسنگ کے اہم اصول:
- خالی لائن event کو روانہ (dispatch) کرتی ہے۔ جب تک وہ نہ آئے، کلائنٹ بفر کرتا رہتا ہے۔
- کئی
data:لائنیں newline سے جڑ کر ایک پیغام بنتی ہیں۔ - کولن سے شروع ہونے والی لائن تبصرہ (comment) ہے۔ سرور انہیں غیر فعال کنکشن کھلے رکھنے کے لیے بھیجتے ہیں۔
- کولن کے بعد کی ایک اسپیس ہٹا دی جاتی ہے۔ لائنیں CRLF، LF یا CR پر ختم ہو سکتی ہیں۔
event،idاورretryevent کی قسم، آخری event ID اور ملی سیکنڈز میں دوبارہ کنکشن کی تاخیر طے کرتے ہیں۔
نیٹ ورک سے پڑھا گیا ڈیٹا events کے ساتھ میل نہیں کھاتا۔ ایک بار کی ریڈ میں آدھا event ہو سکتا ہے یا تین events، اس لیے پارسر کو بائٹس بفر کر کے خالی لائنوں پر تقسیم کرنا چاہیے، ریڈز کے حساب سے نہیں۔
دوبارہ کنکشن، پراکسیز اور [DONE]
معیار میں براؤزرز کے لیے بحالی پہلے سے موجود ہے: کنکشن ٹوٹنے کے بعد EventSource دوبارہ جڑتا ہے اور Last-Event-ID ہیڈر بھیجتا ہے، اور سرور HTTP 204 سے دوبارہ کوششیں روک سکتا ہے۔ اسپیک یہ تنبیہ بھی کرتا ہے کہ “legacy proxy servers” (ترجمہ: پرانے پراکسی سرورز) مختصر ٹائم آؤٹ کے بعد HTTP کنکشن توڑ سکتے ہیں، اور “every 15 seconds or so” (ترجمہ: تقریباً ہر 15 سیکنڈ میں) ایک تبصرہ لائن بھیجنے کا مشورہ دیتا ہے۔
LLM APIs اس میں سے کم استعمال کرتے ہیں۔ OpenAI کی Chat Completions اسٹریم صرف data: لائنیں بھیجتی ہے اور data: [DONE] پر ختم ہوتی ہے، جو API کا رواج ہے، SSE کا نہیں۔ دوبارہ شروع کرنے کے لیے کوئی event ID نہیں ہوتا، اس لیے ٹوٹی ہوئی اسٹریم آگے نہیں بڑھائی جا سکتی؛ دوبارہ کوشش ایک نئی درخواست ہے۔ اسٹریمنگ کی مکمل تصویر اور پہلے ٹوکن تک کے وقت کا فائدہ اسی صفحے پر ہے۔
BroadNet Inference پر
BroadNet کی دستاویزات stream=true سیٹ کرنے اور “read Server-Sent Events until the literal data: [DONE] marker” (ترجمہ: بعینہٖ data: [DONE] مارکر آنے تک Server-Sent Events پڑھیں) کو کہتی ہیں۔ اگر کنکشن اس سے پہلے ختم ہو جائے تو جواب کو نامکمل سمجھیں، X-Request-ID ہیڈر ریکارڈ کریں، اور طے کریں کہ نئی انفرنس درخواست بھیجنا محفوظ ہے یا نہیں۔ stream_options: {"include_usage": true} کے ساتھ usage آخری chunk میں آتا ہے۔ دستاویزات کی curl مثال -N استعمال کرتی ہے تاکہ curl بفر نہ کرے۔ اسٹریم ختم ہونے تک ایک کنکرنسی سلاٹ بھی گھیرے رکھتی ہے: استعمال کے مطابق ادائیگی والی کلید پر 4، گھنٹے والی کلید پر ایک۔ دستاویزات کہتی ہیں کہ پروڈکشن سے پہلے ہر ماڈل پر اسٹریمنگ جانچ لیں۔ ہر SDK کا کوڈ اسٹریمنگ گائیڈ میں ہے، اور chunks کے اندر کیا ہوتا ہے، یہ LLM اسٹریمنگ کی وضاحت میں سمجھایا گیا ہے۔