BroadRouter

chat completions اسٹریم کریں اور ٹوٹے کنکشن سنبھالیں

اپ ڈیٹ

/v1/chat/completions پر stream کو true کریں اور Server-Sent Events تب تک پڑھیں جب تک بالکل data: [DONE] مارکر نہ آ جائے۔ آخری چنک میں ٹوکن گنتیاں پانے کے لیے stream_options میں include_usage شامل کریں۔ اگر کنکشن [DONE] سے پہلے ٹوٹ جائے تو جواب کو نامکمل سمجھیں اور X-Request-ID لاگ کریں۔

اسٹریمنگ سے کوئی ایجنٹ یا چیٹ انٹرفیس جواب کو بنتے بنتے دکھا سکتا ہے۔ BroadNet Inference، chat-completions اسٹریمنگ کی معیاری ساخت استعمال کرتا ہے، اس لیے OpenAI Python SDK اور OpenAI Node SDK پارسنگ آپ کے لیے کر دیتے ہیں۔

curl کے ساتھ

curl -N -D stream-headers.txt https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count from one to three."}]}'

-N curl کی بفرنگ بند کرتا ہے، اور -D ہیڈرز محفوظ کرتا ہے، جن میں X-Request-ID بھی شامل ہے۔

اسٹریم کیسی دکھتی ہے؟

ریسپانس ایک Server-Sent Events اسٹریم ہے۔ WHATWG HTML اسٹینڈرڈ کے مطابق ہر ایونٹ ایک یا زیادہ data: لائنوں اور اس کے بعد ایک خالی لائن سے بنتا ہے، اور کولن سے شروع ہونے والی لائن ایک تبصرہ ہے جسے آپ نظر انداز کر سکتے ہیں۔ ہر data: لائن میں ایک JSON چنک ہوتا ہے، اور متن choices[0].delta.content میں آتا ہے۔

اصول

  1. بالکل data: [DONE] لائن آنے تک ایونٹس پڑھیں، پھر ریڈر بند کریں۔
  2. stream_options: {"include_usage": true} کے ساتھ [DONE] سے عین پہلے ایک اضافی چنک آتا ہے۔ اس میں پوری درخواست کا usage اور ایک خالی choices فہرست ہوتی ہے، اس لیے انڈیکس کرنے سے پہلے choices جانچیں۔
  3. جب ماڈل انہیں رپورٹ کرتا ہے تو اس usage میں completion_tokens_details.reasoning_tokens (DeepSeek V4.1 Flash، GLM 5.3 اور Qwen3.8 27B پہلے ریزننگ کرتے ہیں) اور prompt_tokens_details.cached_tokens شامل ہوتے ہیں۔ کیش شدہ ٹوکنز کا بل کیش شدہ ان پٹ کی کم قیمت پر بنتا ہے۔

Python SDK کے ساتھ

نیچے کے کوڈ کے آخر میں اگر usage کی قدر None ہو تو اس کا مطلب ہے کہ اسٹریم usage والے چنک سے پہلے ختم ہو گئی۔

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

stream = client.chat.completions.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Count from one to three."}],
    stream=True,
    stream_options={"include_usage": True},
)
usage = None
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if chunk.usage:
        usage = chunk.usage
print()
print(usage)  # None means the stream ended before the usage chunk

SDK آپ کے لیے [DONE] تک پڑھتا ہے۔ OpenAI Node SDK گائیڈ میں یہی لوپ JavaScript میں ہے۔

جب اسٹریم درمیان میں ختم ہو جائے

اگر کنکشن [DONE] سے پہلے بند ہو جائے تو جواب نامکمل ہے۔ BroadNet کی ہدایت:

  • X-Request-ID درج کریں؛
  • طے کریں کہ آپ کی ایپلیکیشن محفوظ طریقے سے ایک نئی درخواست بھیج سکتی ہے یا نہیں۔ دوبارہ کوشش ایک نیا انفرنس ہے، اور استعمال کے مطابق ادائیگی میں اس کا بل دوبارہ بنتا ہے۔

لامحدود پلان پر چلنے والے ایجنٹس کے لیے دوبارہ کوشش کا کوئی اضافی خرچ نہیں، لیکن چلتے وقت وہ سیشن کو مصروف رکھتی ہیں۔

BroadNet کی دستاویزات کہتی ہیں کہ پروڈکشن میں اسٹریمنگ پر انحصار کرنے سے پہلے ہر ماڈل کی ریلیز ویریفکیشن اب بھی ضروری ہے، اس لیے جس ماڈل کے ساتھ آپ شپ کر رہے ہیں، اس پر اسے ٹیسٹ کریں۔

مسائل کا حل

  • سب کچھ آخر میں ایک ساتھ پرنٹ ہوتا ہے۔ curl کو -N چاہیے۔ اگر درمیان میں آپ کی اپنی پراکسی ہے تو text/event-stream کے لیے ریسپانس بفرنگ بند کریں۔
  • آخری چنک پر IndexError یا undefined۔ usage والے چنک میں choices کی فہرست خالی ہوتی ہے۔ [0] پڑھنے سے پہلے chunk.choices جانچیں۔
  • usage بالکل نہیں آتا۔ آپ نے stream_options نہیں بھیجا، یا اسٹریم آخری چنک سے پہلے ٹوٹ گئی۔
  • اسٹریم تھوڑے سے متن کے ساتھ finish_reason length پر رک جاتی ہے۔ کسی ریزننگ ماڈل نے max_tokens ریزننگ پر خرچ کر دیے۔ دیکھیں ریزننگ ماڈلز خالی جواب کیوں دیتے ہیں۔
  • متوازی اسٹریمنگ کے دوران 429۔ ہر کھلی اسٹریم ایک جاری درخواست شمار ہوتی ہے؛ استعمال کے مطابق ادائیگی والی کلید 4 کی اجازت دیتی ہے۔ دیکھیں BroadNet کے ایرر کوڈز اور دوبارہ کوشش۔

عام سوالات

chat completions اسٹریم کرتے وقت ٹوکن usage کیسے ملے گا؟

stream_options بھیجیں اور اس میں include_usage کو true کریں۔ data: [DONE] سے عین پہلے ایک اضافی چنک آتا ہے، جس میں usage بھرا ہوتا ہے اور choices کی فہرست خالی ہوتی ہے۔ اگر اسٹریم پہلے ہی ٹوٹ جائے تو یہ چنک کبھی نہیں آتا۔

curl پورا اسٹریم شدہ جواب ایک ساتھ کیوں پرنٹ کرتا ہے؟

curl بطور ڈیفالٹ اپنا آؤٹ پٹ بفر کرتا ہے۔ -N فلیگ (no buffering) شامل کریں تاکہ ہر Server-Sent Event آتے ہی پرنٹ ہو۔

کیا دوبارہ بھیجی گئی اسٹریم کا بل دو بار بنتا ہے؟

استعمال کے مطابق ادائیگی میں، ہاں۔ دوبارہ کوشش ایک نئی انفرنس درخواست ہے۔ DeepSeek V4.1 Flash کے لامحدود پلان پر کوئی ٹوکن میٹر نہیں، لیکن دوبارہ کوشش چلتے وقت سیشن کو مصروف رکھتی ہے۔

کیا اسٹریمنگ عام درخواست سے مہنگی پڑتی ہے؟

نہیں۔ اسٹریمنگ سے صرف یہ بدلتا ہے کہ جواب کیسے پہنچتا ہے، بلنگ نہیں۔ استعمال کے مطابق ادائیگی میں آپ وہی فی ٹوکن ان پٹ اور آؤٹ پٹ قیمت دیتے ہیں جو بغیر اسٹریمنگ والی درخواست میں۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں