BroadRouter

Strim chat completions dan kendalikan sambungan yang terputus

Dikemas kini

Tetapkan stream kepada true pada /v1/chat/completions dan baca Server-Sent Events sehingga penanda literal data: [DONE]. Tambah stream_options include_usage untuk mendapatkan bilangan token dalam chunk terakhir. Jika sambungan tamat sebelum [DONE], anggap jawapan itu tidak lengkap dan log X-Request-ID.

Penstriman membolehkan ejen atau antara muka chat memaparkan jawapan semasa ia dijana. BroadNet Inference menggunakan bentuk penstriman chat-completions yang standard, jadi OpenAI Python SDK dan OpenAI Node SDK akan menghurainya untuk anda.

Dengan curl

curl -N -D stream-headers.txt https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count from one to three."}]}'

-N mematikan penimbalan curl, dan -D menyimpan pengepala, termasuk X-Request-ID.

Bagaimanakah rupa strim itu?

Responsnya ialah strim Server-Sent Events. Di bawah WHATWG HTML standard, setiap peristiwa ialah satu atau lebih baris data: diikuti baris kosong, dan baris yang bermula dengan titik bertindih ialah komen yang boleh diabaikan. Setiap baris data: mengandungi satu chunk JSON, dan teks tiba dalam choices[0].delta.content.

Peraturannya

  1. Baca peristiwa sehingga baris literal data: [DONE], kemudian tutup pembaca.
  2. Dengan stream_options: {"include_usage": true}, satu chunk tambahan tiba sejurus sebelum [DONE]. Ia membawa usage untuk seluruh permintaan dan senarai choices yang kosong, jadi semak choices sebelum mengindeksnya.
  3. Apabila model melaporkannya, usage itu termasuk completion_tokens_details.reasoning_tokens (DeepSeek V4.1 Flash, GLM 5.3 dan Qwen3.8 27B membuat penaakulan dahulu) dan prompt_tokens_details.cached_tokens. Token cache dibilkan pada harga input cache yang lebih rendah.

Dengan Python SDK

Pada penghujung kod di bawah, jika usage masih None, strim telah berakhir sebelum chunk usage tiba:

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

stream = client.chat.completions.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Count from one to three."}],
    stream=True,
    stream_options={"include_usage": True},
)
usage = None
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if chunk.usage:
        usage = chunk.usage
print()
print(usage)  # None means the stream ended before the usage chunk

SDK membaca sehingga [DONE] untuk anda. Panduan OpenAI Node SDK menunjukkan gelung yang sama dalam JavaScript.

Apabila strim berakhir awal

Jika sambungan ditutup sebelum [DONE], jawapan itu tidak lengkap. Panduan BroadNet:

  • rekodkan X-Request-ID;
  • tentukan sama ada aplikasi anda boleh membuat permintaan baharu dengan selamat. Cuba semula ialah inferens baharu dan dibilkan sekali lagi pada bayar ikut guna.

Bagi ejen pada pelan tanpa had, cuba semula tidak dikenakan kos tambahan, tetapi ia tetap menggunakan sesi semasa berjalan.

Dokumentasi BroadNet menyatakan bahawa pengesahan keluaran bagi setiap model masih diperlukan sebelum anda bergantung pada penstriman dalam pengeluaran, jadi ujinya pada model yang akan anda gunakan.

Penyelesaian masalah

  • Semuanya dicetak pada penghujung. curl memerlukan -N. Jika di belakang proksi anda sendiri, matikan penimbalan respons untuk text/event-stream.
  • IndexError atau undefined pada chunk terakhir. Chunk usage mempunyai senarai choices yang kosong. Semak chunk.choices sebelum membaca [0].
  • Langsung tiada usage. Anda tidak menghantar stream_options, atau strim terputus sebelum chunk terakhir.
  • Strim berhenti dengan finish_reason length dan sedikit teks. Model penaakulan telah menggunakan max_tokens untuk penaakulan. Lihat mengapa model penaakulan memulangkan jawapan kosong.
  • 429 semasa menstrim secara selari. Setiap strim yang terbuka dikira sebagai permintaan yang sedang berjalan; kunci bayar ikut guna membenarkan 4. Lihat kod ralat BroadNet dan cuba semula.

Soalan lazim

Bagaimanakah saya mendapatkan penggunaan token semasa menstrim chat completions?

Hantar stream_options dengan include_usage ditetapkan kepada true. Satu chunk tambahan tiba sejurus sebelum data: [DONE], dengan usage diisi dan tatasusunan choices yang kosong. Jika strim terputus lebih awal, chunk itu tidak akan tiba.

Mengapakah curl mencetak seluruh jawapan distrim sekali gus?

curl menimbal outputnya secara lalai. Tambah bendera -N (tanpa penimbalan) supaya setiap Server-Sent Event dicetak sebaik sahaja tiba.

Adakah strim yang dicuba semula dibilkan dua kali?

Pada bayar ikut guna, ya. Cuba semula ialah permintaan inferens baharu. Pada pelan DeepSeek V4.1 Flash tanpa had tiada meter token, tetapi cuba semula itu tetap menggunakan sesi semasa ia berjalan.

Adakah penstriman lebih mahal daripada permintaan biasa?

Tidak. Penstriman mengubah cara jawapan dihantar, bukan cara ia dibilkan. Pada bayar ikut guna, anda membayar harga input dan output setiap token yang sama seperti permintaan tanpa penstriman.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity