---
title: "Strim respons LLM melalui SSE, dengan usage dan cuba semula"
description: "Cara penstriman berfungsi di BroadNet Inference: Server-Sent Events, penanda [DONE], penggunaan token dalam chunk terakhir, dan tindakan jika strim berakhir awal."
url: https://broadrouter.com/ms/guides/streaming-chat-completions/
lang: ms
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan daripada bahasa Inggeris dengan bantuan AI. [Baca versi asal dalam bahasa Inggeris](https://broadrouter.com/guides/streaming-chat-completions/) (dikemas kini 2026-11-15).

# Strim chat completions dan kendalikan sambungan yang terputus

Dikemas kini 2026-11-15

Tetapkan stream kepada true pada /v1/chat/completions dan baca Server-Sent Events sehingga penanda literal data: \[DONE\]. Tambah stream\_options include\_usage untuk mendapatkan bilangan token dalam chunk terakhir. Jika sambungan tamat sebelum \[DONE\], anggap jawapan itu tidak lengkap dan log X-Request-ID.

Penstriman membolehkan ejen atau antara muka chat memaparkan jawapan semasa ia dijana. BroadNet Inference menggunakan bentuk penstriman chat-completions yang standard, jadi [OpenAI Python SDK](https://broadrouter.com/ms/guides/openai-python-sdk/) dan [OpenAI Node SDK](https://broadrouter.com/ms/guides/openai-node-sdk/) akan menghurainya untuk anda.

## Dengan curl

```bash
curl -N -D stream-headers.txt https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count from one to three."}]}'
```

`-N` mematikan penimbalan curl, dan `-D` menyimpan pengepala, termasuk `X-Request-ID`.

## Bagaimanakah rupa strim itu?

Responsnya ialah strim [Server-Sent Events](https://broadrouter.com/ms/glossary/sse/). Di bawah WHATWG HTML standard, setiap peristiwa ialah satu atau lebih baris `data:` diikuti baris kosong, dan baris yang bermula dengan titik bertindih ialah komen yang boleh diabaikan. Setiap baris `data:` mengandungi satu chunk JSON, dan teks tiba dalam `choices[0].delta.content`.

## Peraturannya

1.  Baca peristiwa sehingga baris literal `data: [DONE]`, kemudian tutup pembaca.
2.  Dengan `stream_options: {"include_usage": true}`, satu chunk tambahan tiba sejurus sebelum `[DONE]`. Ia membawa `usage` untuk seluruh permintaan dan senarai `choices` yang kosong, jadi semak `choices` sebelum mengindeksnya.
3.  Apabila model melaporkannya, usage itu termasuk `completion_tokens_details.reasoning_tokens` (DeepSeek V4.1 Flash, GLM 5.3 dan Qwen3.8 27B membuat penaakulan dahulu) dan `prompt_tokens_details.cached_tokens`. Token cache dibilkan pada harga input cache yang lebih rendah.

## Dengan Python SDK

Pada penghujung kod di bawah, jika `usage` masih `None`, strim telah berakhir sebelum chunk usage tiba:

```python
import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

stream = client.chat.completions.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Count from one to three."}],
    stream=True,
    stream_options={"include_usage": True},
)
usage = None
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if chunk.usage:
        usage = chunk.usage
print()
print(usage)  # None means the stream ended before the usage chunk
```

SDK membaca sehingga `[DONE]` untuk anda. [Panduan OpenAI Node SDK](https://broadrouter.com/ms/guides/openai-node-sdk/) menunjukkan gelung yang sama dalam JavaScript.

## Apabila strim berakhir awal

Jika sambungan ditutup sebelum `[DONE]`, jawapan itu tidak lengkap. Panduan BroadNet:

-   rekodkan `X-Request-ID`;
-   tentukan sama ada aplikasi anda boleh membuat permintaan **baharu** dengan selamat. Cuba semula ialah inferens baharu dan dibilkan sekali lagi pada bayar ikut guna.

Bagi ejen pada [pelan tanpa had](https://broadrouter.com/ms/guides/unlimited-llm-api-sessions/), cuba semula tidak dikenakan kos tambahan, tetapi ia tetap menggunakan sesi semasa berjalan.

Dokumentasi BroadNet menyatakan bahawa pengesahan keluaran bagi setiap model masih diperlukan sebelum anda bergantung pada penstriman dalam pengeluaran, jadi ujinya pada model yang akan anda gunakan.

## Penyelesaian masalah

-   **Semuanya dicetak pada penghujung.** curl memerlukan `-N`. Jika di belakang proksi anda sendiri, matikan penimbalan respons untuk `text/event-stream`.
-   **`IndexError` atau `undefined` pada chunk terakhir.** Chunk usage mempunyai senarai `choices` yang kosong. Semak `chunk.choices` sebelum membaca `[0]`.
-   **Langsung tiada usage.** Anda tidak menghantar `stream_options`, atau strim terputus sebelum chunk terakhir.
-   **Strim berhenti dengan `finish_reason` `length` dan sedikit teks.** Model penaakulan telah menggunakan `max_tokens` untuk penaakulan. Lihat [mengapa model penaakulan memulangkan jawapan kosong](https://broadrouter.com/ms/guides/reasoning-tokens-empty-response/).
-   **429 semasa menstrim secara selari.** Setiap strim yang terbuka dikira sebagai permintaan yang sedang berjalan; kunci bayar ikut guna membenarkan 4. Lihat [kod ralat BroadNet dan cuba semula](https://broadrouter.com/ms/guides/errors-and-retries/).

## Istilah dalam panduan ini

[Penstriman (streaming)](https://broadrouter.com/ms/glossary/streaming/)

Penstriman ialah cara memulangkan respons model bahasa dalam cebisan kecil semasa ia masih dijana, dan bukan sebagai satu jawapan di penghujung. API serasi OpenAI menstrim melalui server-sent events apabila permintaan menetapkan stream kepada true.

[Baris Arab (tashkeel, Arabic diacritics)](https://broadrouter.com/ms/glossary/arabic-diacritics/)

Baris Arab, atau tashkeel, ialah tanda kecil yang ditulis di atas atau di bawah huruf untuk menunjukkan vokal pendek, konsonan berganda dan ketiadaan vokal. Ia pilihan: kebanyakan teks Arab, termasuk berita, meninggalkannya, jadi pembaca dan perisian meneka vokal daripada konteks.

[Bayar ikut guna (pay-as-you-go)](https://broadrouter.com/ms/glossary/pay-as-you-go/)

Bayar ikut guna ialah model harga di mana anda hanya membayar apa yang anda guna, dimeter mengikut unit seperti token, permintaan atau minit audio, tanpa langganan atau komitmen minimum. Kebanyakan API LLM mengebil dengan cara ini, daripada baki prabayar atau invois berkala.

[Keserentakan (concurrency)](https://broadrouter.com/ms/glossary/concurrency/)

Keserentakan ialah bilangan permintaan yang sedang berjalan serentak daripada satu klien. API LLM sering mengehadkannya bagi setiap kunci atau pelan, berasingan daripada permintaan seminit, kerana setiap permintaan yang terbuka memegang kapasiti GPU sehingga responsnya selesai.

[Server-sent events (SSE)](https://broadrouter.com/ms/glossary/sse/)

Server-sent events (SSE) ialah piawaian web untuk pelayan menolak aliran event teks kepada klien melalui satu respons HTTP yang kekal lama dengan jenis kandungan text/event-stream. Setiap event terdiri daripada satu atau lebih baris medan, seperti data:, yang ditamatkan dengan baris kosong.

[Token input cache (cached input tokens)](https://broadrouter.com/ms/glossary/cached-input-tokens/)

Token input cache ialah token prompt yang baru sahaja diproses oleh penyedia LLM dan boleh diguna semula daripada cache tanpa dikira semula, biasanya awalan yang berulang seperti prompt sistem atau dokumen. Penyedia mengebilnya pada kadar lebih rendah daripada token input baharu.

[Pelan LLM harga tetap (flat-rate LLM plan)](https://broadrouter.com/ms/glossary/flat-rate-llm-plan/)

Pelan LLM harga tetap mengenakan harga tetap bagi satu tempoh, seperti sebulan, untuk akses kepada API model bahasa dan bukannya mengebil setiap token. Pelan sebegini biasanya mengehadkan perkara lain, seperti keserentakan, kelajuan, model atau tetingkap penggunaan, jadi hadnya sama penting dengan harganya.

[Token](https://broadrouter.com/ms/glossary/token/)

Token ialah unit teks yang dibaca dan ditulis oleh model bahasa: satu perkataan, sebahagian perkataan, tanda baca atau jujukan bait yang dihasilkan oleh tokenizer model itu. API LLM mengira, mengehadkan dan biasanya mengebil penggunaan dalam token.

## Soalan lazim

### Bagaimanakah saya mendapatkan penggunaan token semasa menstrim chat completions?

Hantar stream\_options dengan include\_usage ditetapkan kepada true. Satu chunk tambahan tiba sejurus sebelum data: \[DONE\], dengan usage diisi dan tatasusunan choices yang kosong. Jika strim terputus lebih awal, chunk itu tidak akan tiba.

### Mengapakah curl mencetak seluruh jawapan distrim sekali gus?

curl menimbal outputnya secara lalai. Tambah bendera -N (tanpa penimbalan) supaya setiap Server-Sent Event dicetak sebaik sahaja tiba.

### Adakah strim yang dicuba semula dibilkan dua kali?

Pada bayar ikut guna, ya. Cuba semula ialah permintaan inferens baharu. Pada pelan DeepSeek V4.1 Flash tanpa had tiada meter token, tetapi cuba semula itu tetap menggunakan sesi semasa ia berjalan.

### Adakah penstriman lebih mahal daripada permintaan biasa?

Tidak. Penstriman mengubah cara jawapan dihantar, bukan cara ia dibilkan. Pada bayar ikut guna, anda membayar harga input dan output setiap token yang sama seperti permintaan tanpa penstriman.

## Panduan berkaitan

-   [Cara guna OpenAI Python SDK dengan BroadNet Inference](https://broadrouter.com/ms/guides/openai-python-sdk/)
-   [Kod ralat BroadNet Inference dan bila perlu cuba semula](https://broadrouter.com/ms/guides/errors-and-retries/)
-   [Mengapa model penaakulan memulangkan jawapan kosong](https://broadrouter.com/ms/guides/reasoning-tokens-empty-response/)

Cuba dengan beban kerja sebenar anda. Akaun baharu bermula dengan kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM dan Qwen3.8 memerlukan tambah nilai.

[Mulakan](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-guides-streaming-chat-completions&utm_content=page-cta) ·

**Sumber**

-   [Rujukan API BroadNet Inference, penstriman (Bahasa Inggeris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-guides-streaming-chat-completions&utm_content=sources#requests)
-   [WHATWG HTML Standard, server-sent events (disemak 2026-11-14)](https://html.spec.whatwg.org/multipage/server-sent-events.html)
-   [OpenAI Python SDK, docstring stream\_options include\_usage (disemak 2026-11-14)](https://github.com/openai/openai-python/blob/main/src/openai/types/chat/chat_completion_stream_options_param.py)
