Sa streaming, naipapakita ng agent o ng chat interface ang sagot habang binubuo ito. Ginagamit ng BroadNet Inference ang standard na streaming format ng chat completions, kaya ang OpenAI Python SDK at ang OpenAI Node SDK na ang bahala sa pag-parse.
Gamit ang curl
curl -N -D stream-headers.txt https://inference.broadnet.ai/v1/chat/completions \
-H "Authorization: Bearer $BROADNET_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count from one to three."}]}'
Ini-o-off ng -N ang buffering ng curl, at sine-save ng -D ang mga header, kasama ang X-Request-ID.
Ano ang itsura ng stream?
Isang Server-Sent Events stream ang response. Ayon sa WHATWG HTML standard, ang bawat event ay isa o higit pang data: na linya na sinusundan ng blangkong linya, at ang linyang nagsisimula sa colon ay comment na puwede mong balewalain. May isang JSON chunk ang bawat data: na linya, at dumarating ang text sa choices[0].delta.content.
Ang mga patakaran
- Basahin ang mga event hanggang sa mismong linyang
data: [DONE], saka isara ang reader. - Kapag may
stream_options: {"include_usage": true}, may isang dagdag na chunk na darating bago mismo ang[DONE]. Dala nito angusagepara sa buong request at walang laman nachoiceslist, kaya suriin muna angchoicesbago mag-index dito. - Kapag iniuulat ito ng model, kasama sa usage na iyon ang
completion_tokens_details.reasoning_tokens(nagre-reason muna ang DeepSeek V4.1 Flash, GLM 5.3 at Qwen3.8 27B) at angprompt_tokens_details.cached_tokens. Sinisingil ang mga cached token sa mas mababang presyo ng cached input.
Gamit ang Python SDK
Sa dulo ng code sa ibaba, kapag None pa rin ang usage, natapos ang stream bago dumating ang usage chunk:
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
stream = client.chat.completions.create(
model="broadnet/gemma-4-26b-a4b",
messages=[{"role": "user", "content": "Count from one to three."}],
stream=True,
stream_options={"include_usage": True},
)
usage = None
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
if chunk.usage:
usage = chunk.usage
print()
print(usage) # None means the stream ended before the usage chunk
Ang SDK na ang nagbabasa hanggang [DONE] para sa iyo. Ipinapakita ng gabay sa OpenAI Node SDK ang parehong loop sa JavaScript.
Kapag maagang natapos ang stream
Kung nagsara ang connection bago ang [DONE], hindi kumpleto ang sagot. Ang payo ng BroadNet:
- itala ang
X-Request-ID; - pagpasyahan kung ligtas para sa application mo na gumawa ng bagong request. Bagong inference ang retry, at sinisingil ulit ito sa pay-as-you-go.
Para sa mga agent sa unlimited plan, walang dagdag na bayad ang retries, pero ginagamit pa rin nila ang session habang tumatakbo.
Ayon sa docs ng BroadNet, kailangan pa rin ng release verification kada model bago ka umasa sa streaming sa production, kaya subukan ito sa model na ilalabas mo.
Troubleshooting
- Lahat ay lumalabas sa dulo. Kailangan ng curl ang
-N. Kung nasa likod ka ng sarili mong proxy, i-off ang response buffering para satext/event-stream. IndexErroroundefinedsa huling chunk. Walang laman angchoiceslist ng usage chunk. Suriin angchunk.choicesbago basahin ang[0].- Walang usage talaga. Hindi mo ipinadala ang
stream_options, o naputol ang stream bago ang huling chunk. - Huminto ang stream na
lengthangfinish_reasonat kaunti lang ang text. Ginamit ng reasoning model angmax_tokenssa reasoning. Tingnan kung bakit walang laman ang sagot ng mga reasoning model. - 429 habang nagi-stream nang sabay-sabay. Binibilang na request na tumatakbo ang bawat bukas na stream; 4 ang pinapayagan ng isang pay-as-you-go key. Tingnan ang error codes at retries ng BroadNet.
