Tanpa penstriman, chat completion tidak memulangkan apa-apa sehingga keseluruhan jawapan siap. Jawapan 600 token pada kira-kira 100 token sesaat bermakna beberapa saat senyap. Dengan penstriman, perkataan pertama muncul sebaik sahaja model menulisnya. Artikel ini merangkumi apa yang sebenarnya bergerak pada wayar, cara menghuraikannya, cara mendapatkan usage token daripada strim, dan cara menghentikannya dengan bersih. Untuk peraturan khusus BroadNet dalam bentuk ringkas, lihat panduan rujukan penstriman.
Bagaimanakah rupa strim SSE pada wayar?
Server-Sent Events ialah respons HTTP biasa dengan Content-Type: text/event-stream. Pelayan memastikan sambungan terbuka dan menulis acara. Setiap acara ialah satu atau lebih baris data: diikuti baris kosong. API yang serasi OpenAI meletakkan satu chunk JSON dalam setiap acara dan berakhir dengan [DONE] literal:
data: {"id":"c1","object":"chat.completion.chunk","choices":[{"index":0,"delta":{"role":"assistant","content":""},"finish_reason":null}],"usage":null}
data: {"id":"c1","object":"chat.completion.chunk","choices":[{"index":0,"delta":{"content":"One, "},"finish_reason":null}],"usage":null}
data: {"id":"c1","object":"chat.completion.chunk","choices":[{"index":0,"delta":{"content":"two, three."},"finish_reason":"stop"}],"usage":null}
data: {"id":"c1","object":"chat.completion.chunk","choices":[],"usage":{"prompt_tokens":14,"completion_tokens":6,"total_tokens":20}}
data: [DONE]
Bentuk di atas ialah ilustrasi dan dipendekkan. Chunk sebenar juga membawa model dan created, dan model penaakulan mungkin melaporkan token penaakulan dalam usage.
Apakah kandungan sebuah chunk?
| Medan | Di mana | Maksudnya |
|---|---|---|
choices[0].delta.role |
Chunk pertama | Biasanya assistant. Dihantar sekali. |
choices[0].delta.content |
Kebanyakan chunk | Kepingan teks seterusnya. Boleh kosong. |
choices[0].delta.tool_calls |
Panggilan alat | Serpihan nama fungsi dan argumen JSON, untuk dicantum mengikut index. |
choices[0].finish_reason |
Chunk kandungan terakhir | stop, length atau tool_calls. null sehingga itu. |
usage |
Chunk terakhir, jika diminta | Jumlah untuk keseluruhan permintaan. null di tempat lain. |
Idea utamanya ialah delta, bukan petikan keadaan penuh (snapshot). Setiap chunk hanya memegang apa yang baharu. Anda membina semula mesej dengan mencantumkan kepingan mengikut susunan. Panggilan alat distrim dengan cara yang sama: argumen tiba sebagai serpihan rentetan yang bukan JSON sah sehingga serpihan terakhir tiba, jadi huraikannya hanya selepas finish_reason menjadi tool_calls.
Bagaimanakah cara mendapatkan usage token daripada strim?
Respons bukan strim sentiasa menyertakan usage. Strim tidak, melainkan anda memintanya. Tetapkan stream_options: {"include_usage": true} dan pelayan menghantar satu chunk tambahan sebelum [DONE]. Chunk itu mempunyai jumlah dan tatasusunan choices kosong. Di BroadNet Inference, usage juga boleh termasuk prompt_tokens_details.cached_tokens dan completion_tokens_details.reasoning_tokens apabila model melaporkannya, iaitu apa yang anda perlukan untuk log kos.
Pepijat biasa: kod yang membaca chunk.choices[0] pada setiap chunk menimbulkan ralat indeks pada chunk usage. Semak choices dahulu.
Python: strim, kumpul usage, batal
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
stream = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash", # DeepSeek V4.1 Flash, a reasoning model
messages=[{"role": "user", "content": "Explain SSE in three sentences."}],
stream=True,
stream_options={"include_usage": True},
max_tokens=2000, # reasoning counts toward this limit
)
def user_pressed_stop(): # replace with your own condition
return False
parts, usage, finish = [], None, None
try:
for chunk in stream:
if chunk.choices:
choice = chunk.choices[0]
if choice.delta.content:
parts.append(choice.delta.content)
print(choice.delta.content, end="", flush=True)
if choice.finish_reason:
finish = choice.finish_reason
if chunk.usage:
usage = chunk.usage
if user_pressed_stop(): # your own condition
break
finally:
stream.close() # closes the HTTP connection
text = "".join(parts)
break sahaja menghentikan pembacaan, tetapi soket kekal terbuka sehingga ia dikutip sampah (garbage collected). Tutupnya secara eksplisit supaya pelayan melihat pemutusan sambungan.
Node: strim dengan AbortController
import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://inference.broadnet.ai/v1", apiKey: process.env.BROADNET_API_KEY });
const controller = new AbortController();
setTimeout(() => controller.abort(), 30_000); // hard stop after 30 s
const stream = await client.chat.completions.create(
{
model: "broadnet/deepseek-v4.1-flash",
messages: [{ role: "user", content: "Explain SSE in three sentences." }],
stream: true,
stream_options: { include_usage: true },
},
{ signal: controller.signal },
);
let text = "";
for await (const chunk of stream) {
const delta = chunk.choices[0]?.delta?.content;
if (delta) text += delta;
if (chunk.usage) console.log(chunk.usage);
}
README openai-node mendokumentasikan pilihan signal, dan ia berfungsi semasa badan respons masih dibaca. Dalam pelayan web, sambungkan controller.abort() kepada acara close permintaan klien supaya pengguna yang meninggalkan halaman turut menghentikan penjanaan. Lebih banyak persediaan dalam panduan Node SDK.
curl: lihat acara mentah
curl -N https://inference.broadnet.ai/v1/chat/completions \
-H "Authorization: Bearer $BROADNET_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count to five."}]}'
-N mematikan penimbalan output supaya acara dicetak sebaik tiba. Tekan Ctrl+C untuk membatalkan; itu menutup sambungan. Pembina permintaan API menjana permintaan ini, serta versi Python dan Node, untuk mana-mana model dan base URL.
Bagaimanakah cara membatalkan strim, dan berapakah kosnya?
Pembatalan dalam SSE hanyalah menutup sambungan. Tiada mesej “stop”. Apa yang berlaku seterusnya terpulang kepada pelayan: pelayan yang berkelakuan baik menyedari soket ditutup dan berhenti menjana. Token yang dihasilkan sebelum saat itu ialah kerja sebenar. Rujukan API BroadNet tidak mendokumentasikan pengebilan untuk strim yang dibatalkan, jadi rancang seolah-olah token yang dijana sehingga pemutusan sambungan dibilkan pada bayar ikut guna, dan semak rekod usage anda. Pada pelan kadar tetap, strim yang dibatalkan tidak menambah kos tetapi hanya membebaskan sesi apabila pelayan berhenti.
Lima pepijat penstriman yang perlu disemak
- Proksi yang menimbal. Nginx dan sesetengah CDN menimbal respons, jadi klien menerima semuanya serentak. Matikan penimbalan proksi untuk laluan penstriman.
- Tiada semakan
[DONE]. Sambungan yang terputus kelihatan seperti jawapan pendek. Anggap ketiadaan[DONE]sebagai tidak lengkap dan rekodX-Request-ID, seperti yang diterangkan dalam panduan ralat. - Mencuba semula di tengah strim. SDK tidak mencuba semula setelah badan respons mula tiba. Cuba semula ialah permintaan baharu dan, pada bayar ikut guna, bil baharu.
- Mengabaikan
finish_reason: length. Pada model penaakulan seperti DeepSeek V4.1 Flash, proses berfikir dikira dalam max_tokens, jadi had yang kecil boleh menghentikan strim sebelum sebarang teks kelihatan. Lihat kos token penaakulan. - Memecah baris dengan salah. Jika anda menghuraikan SSE secara manual, timbal bait sehingga anda melihat baris kosong. Satu bacaan TCP boleh berakhir di tengah-tengah chunk JSON.
Di manakah BroadNet Inference sesuai
BroadNet Inference menggunakan bentuk penstriman serasi OpenAI yang standard, jadi Python dan Node SDK menghuraikannya tanpa perubahan. Usage dalam chunk terakhir termasuk token cache dan penaakulan apabila model melaporkannya. Dokumentasinya menyatakan penstriman masih patut disahkan bagi setiap model sebelum digunakan dalam produksi, jadi jalankan kod di atas terhadap model tepat yang anda gunakan. Jika anda paling mementingkan kepantasan token pertama tiba, baca TTFT vs daya pemprosesan seterusnya. Jika anda memerlukan suara masa nyata melalui WebSockets, API ini tidak dibina untuk itu; ia menawarkan chat completions dan transkripsi fail.
