Streaming memungkinkan agen atau antarmuka chat menampilkan jawaban saat jawaban itu dihasilkan. BroadNet Inference memakai format streaming chat completions standar, jadi OpenAI Python SDK dan OpenAI Node SDK menangani parsing-nya untuk Anda.
Dengan curl
curl -N -D stream-headers.txt https://inference.broadnet.ai/v1/chat/completions \
-H "Authorization: Bearer $BROADNET_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count from one to three."}]}'
-N mematikan buffering curl, dan -D menyimpan header, termasuk X-Request-ID.
Seperti apa bentuk stream-nya?
Responsnya berupa stream Server-Sent Events. Menurut standar HTML WHATWG, setiap event terdiri dari satu atau lebih baris data: yang diikuti baris kosong, dan baris yang diawali titik dua adalah komentar yang bisa Anda abaikan. Setiap baris data: berisi satu chunk JSON, dan teksnya tiba di choices[0].delta.content.
Aturannya
- Baca event sampai baris literal
data: [DONE], lalu tutup reader. - Dengan
stream_options: {"include_usage": true}, satu chunk tambahan tiba tepat sebelum[DONE]. Chunk ini membawausageuntuk seluruh permintaan dan listchoicesyang kosong, jadi periksachoicessebelum mengakses indeksnya. - Jika model melaporkannya, usage tersebut mencakup
completion_tokens_details.reasoning_tokens(DeepSeek V4.1 Flash, GLM 5.3, dan Qwen3.8 27B bernalar terlebih dahulu) danprompt_tokens_details.cached_tokens. Token cache ditagih dengan harga input cache yang lebih rendah.
Dengan Python SDK
Pada baris terakhir kode, usage yang tetap bernilai None berarti stream berakhir sebelum chunk usage tiba.
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
stream = client.chat.completions.create(
model="broadnet/gemma-4-26b-a4b",
messages=[{"role": "user", "content": "Count from one to three."}],
stream=True,
stream_options={"include_usage": True},
)
usage = None
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
if chunk.usage:
usage = chunk.usage
print()
print(usage) # None means the stream ended before the usage chunk
SDK membaca sampai [DONE] untuk Anda. Panduan OpenAI Node SDK menunjukkan loop yang sama dalam JavaScript.
Jika stream berhenti lebih awal
Jika koneksi tertutup sebelum [DONE], jawabannya tidak lengkap. Panduan BroadNet:
- catat
X-Request-ID; - putuskan apakah aplikasi Anda aman untuk membuat permintaan baru. Percobaan ulang adalah inferensi baru dan ditagih lagi pada skema bayar sesuai pemakaian.
Untuk agen di paket unlimited, percobaan ulang tidak menambah biaya, tetapi tetap memakai sesi selama berjalan.
Dokumentasi BroadNet menyebutkan bahwa verifikasi rilis per model masih diperlukan sebelum Anda mengandalkan streaming di produksi, jadi uji streaming pada model yang akan Anda pakai.
Pemecahan masalah
- Semuanya baru tercetak di akhir. curl perlu
-N. Jika berada di belakang proxy Anda sendiri, matikan buffering respons untuktext/event-stream. IndexErroratauundefinedpada chunk terakhir. Chunk usage memiliki listchoicesyang kosong. Periksachunk.choicessebelum membaca[0].- Tidak ada usage sama sekali. Anda tidak mengirim
stream_options, atau stream terputus sebelum chunk terakhir. - Stream berhenti dengan
finish_reasonlengthdan teks yang sedikit. Model penalaran menghabiskanmax_tokensuntuk bernalar. Lihat kenapa model penalaran mengembalikan jawaban kosong. - 429 saat streaming paralel. Setiap stream yang terbuka dihitung sebagai permintaan yang sedang berjalan; kunci bayar sesuai pemakaian mengizinkan 4. Lihat kode error BroadNet dan percobaan ulang.
