Penstriman membolehkan ejen atau antara muka chat memaparkan jawapan semasa ia dijana. BroadNet Inference menggunakan bentuk penstriman chat-completions yang standard, jadi OpenAI Python SDK dan OpenAI Node SDK akan menghurainya untuk anda.
Dengan curl
curl -N -D stream-headers.txt https://inference.broadnet.ai/v1/chat/completions \
-H "Authorization: Bearer $BROADNET_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count from one to three."}]}'
-N mematikan penimbalan curl, dan -D menyimpan pengepala, termasuk X-Request-ID.
Bagaimanakah rupa strim itu?
Responsnya ialah strim Server-Sent Events. Di bawah WHATWG HTML standard, setiap peristiwa ialah satu atau lebih baris data: diikuti baris kosong, dan baris yang bermula dengan titik bertindih ialah komen yang boleh diabaikan. Setiap baris data: mengandungi satu chunk JSON, dan teks tiba dalam choices[0].delta.content.
Peraturannya
- Baca peristiwa sehingga baris literal
data: [DONE], kemudian tutup pembaca. - Dengan
stream_options: {"include_usage": true}, satu chunk tambahan tiba sejurus sebelum[DONE]. Ia membawausageuntuk seluruh permintaan dan senaraichoicesyang kosong, jadi semakchoicessebelum mengindeksnya. - Apabila model melaporkannya, usage itu termasuk
completion_tokens_details.reasoning_tokens(DeepSeek V4.1 Flash, GLM 5.3 dan Qwen3.8 27B membuat penaakulan dahulu) danprompt_tokens_details.cached_tokens. Token cache dibilkan pada harga input cache yang lebih rendah.
Dengan Python SDK
Pada penghujung kod di bawah, jika usage masih None, strim telah berakhir sebelum chunk usage tiba:
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
stream = client.chat.completions.create(
model="broadnet/gemma-4-26b-a4b",
messages=[{"role": "user", "content": "Count from one to three."}],
stream=True,
stream_options={"include_usage": True},
)
usage = None
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
if chunk.usage:
usage = chunk.usage
print()
print(usage) # None means the stream ended before the usage chunk
SDK membaca sehingga [DONE] untuk anda. Panduan OpenAI Node SDK menunjukkan gelung yang sama dalam JavaScript.
Apabila strim berakhir awal
Jika sambungan ditutup sebelum [DONE], jawapan itu tidak lengkap. Panduan BroadNet:
- rekodkan
X-Request-ID; - tentukan sama ada aplikasi anda boleh membuat permintaan baharu dengan selamat. Cuba semula ialah inferens baharu dan dibilkan sekali lagi pada bayar ikut guna.
Bagi ejen pada pelan tanpa had, cuba semula tidak dikenakan kos tambahan, tetapi ia tetap menggunakan sesi semasa berjalan.
Dokumentasi BroadNet menyatakan bahawa pengesahan keluaran bagi setiap model masih diperlukan sebelum anda bergantung pada penstriman dalam pengeluaran, jadi ujinya pada model yang akan anda gunakan.
Penyelesaian masalah
- Semuanya dicetak pada penghujung. curl memerlukan
-N. Jika di belakang proksi anda sendiri, matikan penimbalan respons untuktext/event-stream. IndexErroratauundefinedpada chunk terakhir. Chunk usage mempunyai senaraichoicesyang kosong. Semakchunk.choicessebelum membaca[0].- Langsung tiada usage. Anda tidak menghantar
stream_options, atau strim terputus sebelum chunk terakhir. - Strim berhenti dengan
finish_reasonlengthdan sedikit teks. Model penaakulan telah menggunakanmax_tokensuntuk penaakulan. Lihat mengapa model penaakulan memulangkan jawapan kosong. - 429 semasa menstrim secara selari. Setiap strim yang terbuka dikira sebagai permintaan yang sedang berjalan; kunci bayar ikut guna membenarkan 4. Lihat kod ralat BroadNet dan cuba semula.
