ストリーミングを使うと、エージェントやチャット画面で、生成中の回答を順に表示できます。BroadNet Inference は標準的な chat completions のストリーミング形式を使っているので、OpenAI Python SDK や OpenAI Node SDK がパースを代わりに行ってくれます。
curl の場合
curl -N -D stream-headers.txt https://inference.broadnet.ai/v1/chat/completions \
-H "Authorization: Bearer $BROADNET_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count from one to three."}]}'
-N は curl のバッファリングを無効にし、-D は X-Request-ID を含むヘッダーを保存します。
ストリームはどのような形ですか?
レスポンスは Server-Sent Events のストリームです。WHATWG HTML Standard では、各イベントは 1 行以上の data: 行と、その後の空行でできています。コロンで始まる行はコメントで、無視して構いません。各 data: 行には JSON のチャンクが 1 つ入り、テキストは choices[0].delta.content で届きます。
ルール
data: [DONE]という行そのものが届くまでイベントを読み、届いたらリーダーを閉じます。stream_options: {"include_usage": true}を付けると、[DONE]の直前に追加のチャンクが 1 つ届きます。このチャンクにはリクエスト全体のusageと空のchoicesリストが入っているので、インデックスでアクセスする前にchoicesを確認してください。- モデルが報告する場合、その usage には
completion_tokens_details.reasoning_tokens(DeepSeek V4.1 Flash、GLM 5.3、Qwen3.8 27B は先に推論します)とprompt_tokens_details.cached_tokensが含まれます。キャッシュされたトークンは、安いキャッシュ入力の単価で課金されます。
Python SDK の場合
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
stream = client.chat.completions.create(
model="broadnet/gemma-4-26b-a4b",
messages=[{"role": "user", "content": "Count from one to three."}],
stream=True,
stream_options={"include_usage": True},
)
usage = None
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
if chunk.usage:
usage = chunk.usage
print()
print(usage) # None means the stream ended before the usage chunk
SDK は [DONE] まで代わりに読み取ります。最後に usage が None のままなら、usage のチャンクが届く前にストリームが終わったということです。JavaScript での同じループは OpenAI Node SDK のガイドにあります。
ストリームが途中で終わったとき
[DONE] の前に接続が閉じた場合、回答は不完全です。BroadNet のガイダンスは次のとおりです。
X-Request-IDを記録する。- アプリケーションが安全に新しいリクエストを送れるかを判断する。リトライは新しい推論で、従量課金ではもう一度課金されます。
無制限プランのエージェントでは、リトライに追加料金はかかりませんが、実行中はそのセッションを使います。
BroadNet のドキュメントによると、本番でストリーミングに頼る前に、モデルごとのリリース検証がまだ必要です。実際に使うモデルでテストしてください。
トラブルシューティング
- 最後にまとめて表示される。 curl には
-Nが必要です。独自のプロキシを挟んでいる場合は、text/event-streamのレスポンスバッファリングを無効にしてください。 - 最後のチャンクで
IndexErrorやundefinedになる。 usage のチャンクのchoicesリストは空です。[0]を読む前にchunk.choicesを確認してください。 - usage がまったく届かない。
stream_optionsを送っていないか、最後のチャンクの前にストリームが切れています。 finish_reasonがlengthで、テキストがわずかなままストリームが止まる。 推論モデルがmax_tokensを推論に使い切りました。推論モデルが空の回答を返す理由を参照してください。- 並列でストリーミングすると 429 になる。 開いているストリームは、それぞれ実行中のリクエストとして数えられます。従量課金のキーは同時に 4 までです。BroadNet のエラーコードとリトライを参照してください。
