اسٹریمنگ سے کوئی ایجنٹ یا چیٹ انٹرفیس جواب کو بنتے بنتے دکھا سکتا ہے۔ BroadNet Inference، chat-completions اسٹریمنگ کی معیاری ساخت استعمال کرتا ہے، اس لیے OpenAI Python SDK اور OpenAI Node SDK پارسنگ آپ کے لیے کر دیتے ہیں۔
curl کے ساتھ
curl -N -D stream-headers.txt https://inference.broadnet.ai/v1/chat/completions \
-H "Authorization: Bearer $BROADNET_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count from one to three."}]}'
-N curl کی بفرنگ بند کرتا ہے، اور -D ہیڈرز محفوظ کرتا ہے، جن میں X-Request-ID بھی شامل ہے۔
اسٹریم کیسی دکھتی ہے؟
ریسپانس ایک Server-Sent Events اسٹریم ہے۔ WHATWG HTML اسٹینڈرڈ کے مطابق ہر ایونٹ ایک یا زیادہ data: لائنوں اور اس کے بعد ایک خالی لائن سے بنتا ہے، اور کولن سے شروع ہونے والی لائن ایک تبصرہ ہے جسے آپ نظر انداز کر سکتے ہیں۔ ہر data: لائن میں ایک JSON چنک ہوتا ہے، اور متن choices[0].delta.content میں آتا ہے۔
اصول
- بالکل
data: [DONE]لائن آنے تک ایونٹس پڑھیں، پھر ریڈر بند کریں۔ stream_options: {"include_usage": true}کے ساتھ[DONE]سے عین پہلے ایک اضافی چنک آتا ہے۔ اس میں پوری درخواست کاusageاور ایک خالیchoicesفہرست ہوتی ہے، اس لیے انڈیکس کرنے سے پہلےchoicesجانچیں۔- جب ماڈل انہیں رپورٹ کرتا ہے تو اس usage میں
completion_tokens_details.reasoning_tokens(DeepSeek V4.1 Flash، GLM 5.3 اور Qwen3.8 27B پہلے ریزننگ کرتے ہیں) اورprompt_tokens_details.cached_tokensشامل ہوتے ہیں۔ کیش شدہ ٹوکنز کا بل کیش شدہ ان پٹ کی کم قیمت پر بنتا ہے۔
Python SDK کے ساتھ
نیچے کے کوڈ کے آخر میں اگر usage کی قدر None ہو تو اس کا مطلب ہے کہ اسٹریم usage والے چنک سے پہلے ختم ہو گئی۔
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
stream = client.chat.completions.create(
model="broadnet/gemma-4-26b-a4b",
messages=[{"role": "user", "content": "Count from one to three."}],
stream=True,
stream_options={"include_usage": True},
)
usage = None
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
if chunk.usage:
usage = chunk.usage
print()
print(usage) # None means the stream ended before the usage chunk
SDK آپ کے لیے [DONE] تک پڑھتا ہے۔ OpenAI Node SDK گائیڈ میں یہی لوپ JavaScript میں ہے۔
جب اسٹریم درمیان میں ختم ہو جائے
اگر کنکشن [DONE] سے پہلے بند ہو جائے تو جواب نامکمل ہے۔ BroadNet کی ہدایت:
X-Request-IDدرج کریں؛- طے کریں کہ آپ کی ایپلیکیشن محفوظ طریقے سے ایک نئی درخواست بھیج سکتی ہے یا نہیں۔ دوبارہ کوشش ایک نیا انفرنس ہے، اور استعمال کے مطابق ادائیگی میں اس کا بل دوبارہ بنتا ہے۔
لامحدود پلان پر چلنے والے ایجنٹس کے لیے دوبارہ کوشش کا کوئی اضافی خرچ نہیں، لیکن چلتے وقت وہ سیشن کو مصروف رکھتی ہیں۔
BroadNet کی دستاویزات کہتی ہیں کہ پروڈکشن میں اسٹریمنگ پر انحصار کرنے سے پہلے ہر ماڈل کی ریلیز ویریفکیشن اب بھی ضروری ہے، اس لیے جس ماڈل کے ساتھ آپ شپ کر رہے ہیں، اس پر اسے ٹیسٹ کریں۔
مسائل کا حل
- سب کچھ آخر میں ایک ساتھ پرنٹ ہوتا ہے۔ curl کو
-Nچاہیے۔ اگر درمیان میں آپ کی اپنی پراکسی ہے توtext/event-streamکے لیے ریسپانس بفرنگ بند کریں۔ - آخری چنک پر
IndexErrorیاundefined۔ usage والے چنک میںchoicesکی فہرست خالی ہوتی ہے۔[0]پڑھنے سے پہلےchunk.choicesجانچیں۔ - usage بالکل نہیں آتا۔ آپ نے
stream_optionsنہیں بھیجا، یا اسٹریم آخری چنک سے پہلے ٹوٹ گئی۔ - اسٹریم تھوڑے سے متن کے ساتھ
finish_reasonlengthپر رک جاتی ہے۔ کسی ریزننگ ماڈل نےmax_tokensریزننگ پر خرچ کر دیے۔ دیکھیں ریزننگ ماڈلز خالی جواب کیوں دیتے ہیں۔ - متوازی اسٹریمنگ کے دوران 429۔ ہر کھلی اسٹریم ایک جاری درخواست شمار ہوتی ہے؛ استعمال کے مطابق ادائیگی والی کلید 4 کی اجازت دیتی ہے۔ دیکھیں BroadNet کے ایرر کوڈز اور دوبارہ کوشش۔
