स्ट्रीमिंग से कोई एजेंट या चैट इंटरफ़ेस जवाब को बनते-बनते दिखा सकता है। BroadNet Inference, chat-completions स्ट्रीमिंग का स्टैंडर्ड फ़ॉर्मैट इस्तेमाल करता है, इसलिए OpenAI Python SDK और OpenAI Node SDK पार्सिंग आपके लिए कर देते हैं।
curl से
curl -N -D stream-headers.txt https://inference.broadnet.ai/v1/chat/completions \
-H "Authorization: Bearer $BROADNET_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count from one to three."}]}'
-N curl की बफ़रिंग बंद करता है, और -D हेडर सेव करता है, जिनमें X-Request-ID भी है।
स्ट्रीम दिखती कैसी है?
रिस्पॉन्स एक Server-Sent Events स्ट्रीम है। WHATWG HTML स्टैंडर्ड के अनुसार हर इवेंट एक या ज़्यादा data: लाइनों और उसके बाद एक ख़ाली लाइन से बनता है, और कोलन से शुरू होने वाली लाइन एक कमेंट है जिसे आप अनदेखा कर सकते हैं। हर data: लाइन में एक JSON चंक होता है, और टेक्स्ट choices[0].delta.content में आता है।
नियम
- ठीक
data: [DONE]लाइन आने तक इवेंट पढ़ें, फिर रीडर बंद करें। stream_options: {"include_usage": true}के साथ[DONE]से ठीक पहले एक अतिरिक्त चंक आता है। इसमें पूरे अनुरोध काusageऔर एक ख़ालीchoicesसूची होती है, इसलिए इंडेक्स करने से पहलेchoicesजाँचें।- जब मॉडल इन्हें रिपोर्ट करता है, तो उस usage में
completion_tokens_details.reasoning_tokens(DeepSeek V4.1 Flash, GLM 5.3 और Qwen3.8 27B पहले रीज़निंग करते हैं) औरprompt_tokens_details.cached_tokensशामिल होते हैं। कैश्ड टोकन का बिल कैश्ड इनपुट की कम कीमत पर बनता है।
Python SDK से
नीचे के कोड के आख़िर में अगर usage की वैल्यू None है, तो इसका मतलब है कि स्ट्रीम usage वाले चंक से पहले ख़त्म हो गई।
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
stream = client.chat.completions.create(
model="broadnet/gemma-4-26b-a4b",
messages=[{"role": "user", "content": "Count from one to three."}],
stream=True,
stream_options={"include_usage": True},
)
usage = None
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
if chunk.usage:
usage = chunk.usage
print()
print(usage) # None means the stream ended before the usage chunk
SDK आपके लिए [DONE] तक पढ़ता है। OpenAI Node SDK गाइड में यही लूप JavaScript में है।
जब स्ट्रीम बीच में ख़त्म हो जाए
अगर कनेक्शन [DONE] से पहले बंद हो जाए, तो जवाब अधूरा है। BroadNet की सलाह:
X-Request-IDदर्ज करें;- तय करें कि आपका ऐप्लिकेशन सुरक्षित रूप से एक नया अनुरोध भेज सकता है या नहीं। रीट्राई एक नया इन्फ़रेंस है, और उपयोग के अनुसार भुगतान में उसका बिल फिर से बनता है।
अनलिमिटेड प्लान पर चलने वाले एजेंट के लिए रीट्राई का कोई अतिरिक्त ख़र्च नहीं है, लेकिन चलते समय वे सेशन को घेरे रखते हैं।
BroadNet के डॉक्स कहते हैं कि प्रोडक्शन में स्ट्रीमिंग पर भरोसा करने से पहले हर मॉडल का रिलीज़ वेरिफ़िकेशन अब भी ज़रूरी है, इसलिए जिस मॉडल के साथ आप शिप कर रहे हैं, उस पर इसे टेस्ट करें।
समस्या निवारण
- सब कुछ आख़िर में एक साथ प्रिंट होता है. curl को
-Nचाहिए। अगर बीच में आपका अपना प्रॉक्सी है, तोtext/event-streamके लिए रिस्पॉन्स बफ़रिंग बंद करें। - आख़िरी चंक पर
IndexErrorयाundefined. usage वाले चंक मेंchoicesकी सूची ख़ाली होती है।[0]पढ़ने से पहलेchunk.choicesजाँचें। - usage बिल्कुल नहीं आता. आपने
stream_optionsनहीं भेजा, या स्ट्रीम आख़िरी चंक से पहले टूट गई। - स्ट्रीम थोड़े से टेक्स्ट के साथ
finish_reasonlengthपर रुक जाती है. किसी रीज़निंग मॉडल नेmax_tokensरीज़निंग पर ख़र्च कर दिए। देखें रीज़निंग मॉडल ख़ाली जवाब क्यों देते हैं। - पैरेलल स्ट्रीमिंग के दौरान 429. हर खुली स्ट्रीम एक चालू अनुरोध गिनी जाती है; उपयोग के अनुसार भुगतान वाली key 4 की अनुमति देती है। देखें BroadNet एरर कोड और रीट्राई।
