---
title: "Penstriman LLM melalui SSE: chunk, delta, usage, batal"
description: "Cara penstriman chat completion berfungsi, membina semula jawapan daripada delta, membaca usage dalam chunk terakhir dan membatalkan dalam Python, Node dan curl."
url: https://broadrouter.com/ms/blog/llm-streaming-sse-explained/
lang: ms
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan daripada bahasa Inggeris dengan bantuan AI. [Baca versi asal dalam bahasa Inggeris](https://broadrouter.com/blog/llm-streaming-sse-explained/) (dikemas kini 2026-11-16).

# Penstriman LLM diterangkan: chunk SSE, delta, usage dan pembatalan

Oleh pasukan BroadNet Inference · 4 minit bacaan · Diterbitkan 2026-11-14 · Dikemas kini 2026-11-16

API LLM menstrim chat completion sebagai Server-Sent Events: setiap baris data memegang chunk JSON yang choices\[0\].delta-nya membawa kepingan teks seterusnya. Cantumkan delta, berhenti pada data: \[DONE\], dan tetapkan include\_usage dalam stream\_options untuk mendapatkan kiraan token dalam chunk terakhir dengan senarai choices kosong. Untuk membatalkan, tutup sambungan.

## Perkara utama

-   Strim ialah HTTP biasa: `Content-Type: text/event-stream`, satu baris `data:` setiap chunk, baris kosong di antara acara, dan `data: [DONE]` di hujung.
-   Setiap chunk membawa `delta`, bukan mesej penuh. Cantumkan rentetan `delta.content` untuk membina semula jawapan.
-   Usage dimatikan secara lalai dalam strim. `stream_options: {"include_usage": true}` menambah satu chunk terakhir dengan usage dan tatasusunan `choices` kosong.
-   Lindungi setiap akses `choices[0]`: chunk usage tiada choices, dan penghurai yang menganggap ada akan ranap.
-   Batalkan dengan menutup sambungan HTTP. Strim yang berakhir tanpa `[DONE]` ialah jawapan tidak lengkap, bukan jawapan yang selesai.

**Dalam halaman ini**

1.  Bagaimanakah rupa strim SSE pada wayar?
2.  Apakah kandungan sebuah chunk?
3.  Bagaimanakah cara mendapatkan usage token daripada strim?
4.  Python: strim, kumpul usage, batal
5.  Node: strim dengan AbortController
6.  curl: lihat acara mentah
7.  Bagaimanakah cara membatalkan strim, dan berapakah kosnya?
8.  Lima pepijat penstriman yang perlu disemak
9.  Di manakah BroadNet Inference sesuai

Tanpa [penstriman](https://broadrouter.com/ms/glossary/streaming/), chat completion tidak memulangkan apa-apa sehingga keseluruhan jawapan siap. Jawapan 600 token pada kira-kira 100 token sesaat bermakna beberapa saat senyap. Dengan penstriman, perkataan pertama muncul sebaik sahaja model menulisnya. Artikel ini merangkumi apa yang sebenarnya bergerak pada wayar, cara menghuraikannya, cara mendapatkan usage [token](https://broadrouter.com/ms/glossary/token/) daripada strim, dan cara menghentikannya dengan bersih. Untuk peraturan khusus BroadNet dalam bentuk ringkas, lihat [panduan rujukan penstriman](https://broadrouter.com/ms/guides/streaming-chat-completions/).

## Bagaimanakah rupa strim SSE pada wayar?

Server-Sent Events ialah respons HTTP biasa dengan `Content-Type: text/event-stream`. Pelayan memastikan sambungan terbuka dan menulis acara. Setiap acara ialah satu atau lebih baris `data:` diikuti baris kosong. API yang serasi OpenAI meletakkan satu chunk JSON dalam setiap acara dan berakhir dengan `[DONE]` literal:

```text
data: {"id":"c1","object":"chat.completion.chunk","choices":[{"index":0,"delta":{"role":"assistant","content":""},"finish_reason":null}],"usage":null}

data: {"id":"c1","object":"chat.completion.chunk","choices":[{"index":0,"delta":{"content":"One, "},"finish_reason":null}],"usage":null}

data: {"id":"c1","object":"chat.completion.chunk","choices":[{"index":0,"delta":{"content":"two, three."},"finish_reason":"stop"}],"usage":null}

data: {"id":"c1","object":"chat.completion.chunk","choices":[],"usage":{"prompt_tokens":14,"completion_tokens":6,"total_tokens":20}}

data: [DONE]
```

Bentuk di atas ialah ilustrasi dan dipendekkan. Chunk sebenar juga membawa `model` dan `created`, dan model penaakulan mungkin melaporkan token penaakulan dalam usage.

## Apakah kandungan sebuah chunk?

| Medan | Di mana | Maksudnya |
| --- | --- | --- |
| `choices[0].delta.role` | Chunk pertama | Biasanya `assistant`. Dihantar sekali. |
| `choices[0].delta.content` | Kebanyakan chunk | Kepingan teks seterusnya. Boleh kosong. |
| `choices[0].delta.tool_calls` | Panggilan alat | Serpihan nama fungsi dan argumen JSON, untuk dicantum mengikut `index`. |
| `choices[0].finish_reason` | Chunk kandungan terakhir | `stop`, `length` atau `tool_calls`. `null` sehingga itu. |
| `usage` | Chunk terakhir, jika diminta | Jumlah untuk keseluruhan permintaan. `null` di tempat lain. |

Idea utamanya ialah **delta, bukan petikan keadaan penuh (snapshot)**. Setiap chunk hanya memegang apa yang baharu. Anda membina semula mesej dengan mencantumkan kepingan mengikut susunan. [Panggilan alat](https://broadrouter.com/ms/glossary/tool-calling/) distrim dengan cara yang sama: argumen tiba sebagai serpihan rentetan yang bukan JSON sah sehingga serpihan terakhir tiba, jadi huraikannya hanya selepas `finish_reason` menjadi `tool_calls`.

## Bagaimanakah cara mendapatkan usage token daripada strim?

Respons bukan strim sentiasa menyertakan `usage`. Strim tidak, melainkan anda memintanya. Tetapkan `stream_options: {"include_usage": true}` dan pelayan menghantar satu chunk tambahan sebelum `[DONE]`. Chunk itu mempunyai jumlah dan **tatasusunan `choices` kosong**. Di BroadNet Inference, usage juga boleh termasuk `prompt_tokens_details.cached_tokens` dan `completion_tokens_details.reasoning_tokens` apabila model melaporkannya, iaitu apa yang anda perlukan untuk [log kos](https://broadrouter.com/ms/blog/llm-api-usage-logging/).

Pepijat biasa: kod yang membaca `chunk.choices[0]` pada setiap chunk menimbulkan ralat indeks pada chunk usage. Semak `choices` dahulu.

## Python: strim, kumpul usage, batal

```python
import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

stream = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",  # DeepSeek V4.1 Flash, a reasoning model
    messages=[{"role": "user", "content": "Explain SSE in three sentences."}],
    stream=True,
    stream_options={"include_usage": True},
    max_tokens=2000,  # reasoning counts toward this limit
)

def user_pressed_stop():  # replace with your own condition
    return False

parts, usage, finish = [], None, None
try:
    for chunk in stream:
        if chunk.choices:
            choice = chunk.choices[0]
            if choice.delta.content:
                parts.append(choice.delta.content)
                print(choice.delta.content, end="", flush=True)
            if choice.finish_reason:
                finish = choice.finish_reason
        if chunk.usage:
            usage = chunk.usage
        if user_pressed_stop():  # your own condition
            break
finally:
    stream.close()  # closes the HTTP connection

text = "".join(parts)
```

`break` sahaja menghentikan pembacaan, tetapi soket kekal terbuka sehingga ia dikutip sampah (garbage collected). Tutupnya secara eksplisit supaya pelayan melihat pemutusan sambungan.

## Node: strim dengan AbortController

```javascript
import OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://inference.broadnet.ai/v1", apiKey: process.env.BROADNET_API_KEY });
const controller = new AbortController();
setTimeout(() => controller.abort(), 30_000); // hard stop after 30 s

const stream = await client.chat.completions.create(
  {
    model: "broadnet/deepseek-v4.1-flash",
    messages: [{ role: "user", content: "Explain SSE in three sentences." }],
    stream: true,
    stream_options: { include_usage: true },
  },
  { signal: controller.signal },
);

let text = "";
for await (const chunk of stream) {
  const delta = chunk.choices[0]?.delta?.content;
  if (delta) text += delta;
  if (chunk.usage) console.log(chunk.usage);
}
```

[README openai-node](https://github.com/openai/openai-node) mendokumentasikan pilihan `signal`, dan ia berfungsi semasa badan respons masih dibaca. Dalam pelayan web, sambungkan `controller.abort()` kepada acara `close` permintaan klien supaya pengguna yang meninggalkan halaman turut menghentikan penjanaan. Lebih banyak persediaan dalam [panduan Node SDK](https://broadrouter.com/ms/guides/openai-node-sdk/).

## curl: lihat acara mentah

```bash
curl -N https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count to five."}]}'
```

`-N` mematikan penimbalan output supaya acara dicetak sebaik tiba. Tekan Ctrl+C untuk membatalkan; itu menutup sambungan. [Pembina permintaan API](https://broadrouter.com/tools/api-request-builder/) menjana permintaan ini, serta versi Python dan Node, untuk mana-mana model dan base URL.

## Bagaimanakah cara membatalkan strim, dan berapakah kosnya?

Pembatalan dalam SSE hanyalah menutup sambungan. Tiada mesej “stop”. Apa yang berlaku seterusnya terpulang kepada pelayan: pelayan yang berkelakuan baik menyedari soket ditutup dan berhenti menjana. Token yang dihasilkan sebelum saat itu ialah kerja sebenar. Rujukan API BroadNet tidak mendokumentasikan pengebilan untuk strim yang dibatalkan, jadi rancang seolah-olah token yang dijana sehingga pemutusan sambungan dibilkan pada [bayar ikut guna](https://broadrouter.com/ms/glossary/pay-as-you-go/), dan semak rekod usage anda. Pada pelan kadar tetap, strim yang dibatalkan tidak menambah kos tetapi hanya membebaskan sesi apabila pelayan berhenti.

## Lima pepijat penstriman yang perlu disemak

1.  **Proksi yang menimbal.** Nginx dan sesetengah CDN menimbal respons, jadi klien menerima semuanya serentak. Matikan penimbalan proksi untuk laluan penstriman.
2.  **Tiada semakan `[DONE]`.** Sambungan yang terputus kelihatan seperti jawapan pendek. Anggap ketiadaan `[DONE]` sebagai tidak lengkap dan rekod `X-Request-ID`, seperti yang diterangkan dalam [panduan ralat](https://broadrouter.com/ms/guides/errors-and-retries/).
3.  **Mencuba semula di tengah strim.** SDK tidak mencuba semula setelah badan respons mula tiba. Cuba semula ialah permintaan baharu dan, pada bayar ikut guna, bil baharu.
4.  **Mengabaikan `finish_reason: length`.** Pada model penaakulan seperti [DeepSeek V4.1 Flash](https://broadrouter.com/ms/models/deepseek-v4.1-flash/), proses berfikir dikira dalam [max\_tokens](https://broadrouter.com/ms/glossary/max-tokens/), jadi had yang kecil boleh menghentikan strim sebelum sebarang teks kelihatan. Lihat [kos token penaakulan](https://broadrouter.com/ms/blog/reasoning-tokens-cost/).
5.  **Memecah baris dengan salah.** Jika anda menghuraikan SSE secara manual, timbal bait sehingga anda melihat baris kosong. Satu bacaan TCP boleh berakhir di tengah-tengah chunk JSON.

## Di manakah BroadNet Inference sesuai

BroadNet Inference menggunakan bentuk penstriman [serasi OpenAI](https://broadrouter.com/ms/glossary/openai-compatible-api/) yang standard, jadi Python dan Node SDK menghuraikannya tanpa perubahan. Usage dalam chunk terakhir termasuk token cache dan penaakulan apabila model melaporkannya. Dokumentasinya menyatakan penstriman masih patut disahkan bagi setiap model sebelum digunakan dalam produksi, jadi jalankan kod di atas terhadap model tepat yang anda gunakan. Jika anda paling mementingkan kepantasan token pertama tiba, baca [TTFT vs daya pemprosesan](https://broadrouter.com/ms/blog/llm-latency-ttft-throughput/) seterusnya. Jika anda memerlukan suara masa nyata melalui WebSockets, API ini tidak dibina untuk itu; ia menawarkan chat completions dan transkripsi fail.

Alat percuma untuk topik ini (Bahasa Inggeris)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Alatan percuma (Bahasa Inggeris)](https://broadrouter.com/tools/)

## Istilah dalam artikel ini

[Penstriman (streaming)](https://broadrouter.com/ms/glossary/streaming/)

Penstriman ialah cara memulangkan respons model bahasa dalam cebisan kecil semasa ia masih dijana, dan bukan sebagai satu jawapan di penghujung. API serasi OpenAI menstrim melalui server-sent events apabila permintaan menetapkan stream kepada true.

[Token](https://broadrouter.com/ms/glossary/token/)

Token ialah unit teks yang dibaca dan ditulis oleh model bahasa: satu perkataan, sebahagian perkataan, tanda baca atau jujukan bait yang dihasilkan oleh tokenizer model itu. API LLM mengira, mengehadkan dan biasanya mengebil penggunaan dalam token.

[Baris Arab (tashkeel, Arabic diacritics)](https://broadrouter.com/ms/glossary/arabic-diacritics/)

Baris Arab, atau tashkeel, ialah tanda kecil yang ditulis di atas atau di bawah huruf untuk menunjukkan vokal pendek, konsonan berganda dan ketiadaan vokal. Ia pilihan: kebanyakan teks Arab, termasuk berita, meninggalkannya, jadi pembaca dan perisian meneka vokal daripada konteks.

[Bayar ikut guna (pay-as-you-go)](https://broadrouter.com/ms/glossary/pay-as-you-go/)

Bayar ikut guna ialah model harga di mana anda hanya membayar apa yang anda guna, dimeter mengikut unit seperti token, permintaan atau minit audio, tanpa langganan atau komitmen minimum. Kebanyakan API LLM mengebil dengan cara ini, daripada baki prabayar atau invois berkala.

[Server-sent events (SSE)](https://broadrouter.com/ms/glossary/sse/)

Server-sent events (SSE) ialah piawaian web untuk pelayan menolak aliran event teks kepada klien melalui satu respons HTTP yang kekal lama dengan jenis kandungan text/event-stream. Setiap event terdiri daripada satu atau lebih baris medan, seperti data:, yang ditamatkan dengan baris kosong.

[Token penaakulan (reasoning tokens)](https://broadrouter.com/ms/glossary/reasoning-tokens/)

Token penaakulan ialah token yang dijana oleh model penaakulan untuk menyelesaikan masalah sebelum ia menulis jawapan yang kelihatan. Token ini biasanya dibilkan sebagai token output, dikira dalam had output dan tetingkap konteks, dan mungkin disembunyikan atau diringkaskan oleh API.

[Base URL (URL asas)](https://broadrouter.com/ms/glossary/base-url/)

Base URL ialah alamat akar tetap sesuatu API, seperti https://api.example.com/v1, yang diletakkan oleh klien di hadapan setiap laluan endpoint, seperti /chat/completions. Dalam SDK serasi OpenAI, menukar base URL, bersama kunci API dan ID model, menghalakan kod yang sama kepada penyedia lain.

[Chat Completions API](https://broadrouter.com/ms/glossary/chat-completions-api/)

Chat Completions API ialah endpoint HTTP OpenAI, POST /v1/chat/completions, yang menerima nama model dan senarai mesej bertanda peranan, lalu memulangkan mesej seterusnya daripada model. Bentuk permintaan dan responsnya menjadi format biasa yang digunakan semula oleh penyedia dan SDK yang serasi OpenAI.

## Soalan lazim

### Apakah perbezaan antara SSE dan WebSockets untuk penstriman LLM?

SSE adalah sehala, dari pelayan ke klien, melalui respons HTTP biasa. Itu sahaja yang diperlukan oleh chat completion, jadi API yang serasi OpenAI menggunakan SSE. WebSockets adalah dua hala dan memerlukan naik taraf protokol; ia digunakan untuk suara masa nyata, bukan untuk chat completions.

### Mengapakah usage bernilai null dalam chunk penstriman saya?

Usage hanya dihantar apabila anda memintanya. Tambah stream\_options dengan include\_usage ditetapkan kepada true. Setiap chunk kecuali yang terakhir kemudiannya mempunyai usage null, dan chunk terakhir membawa jumlah dengan senarai choices kosong.

### Adakah saya dicaj jika saya membatalkan strim?

Penyedia berbeza-beza dan banyak yang tidak mendokumentasikannya. Anggap token yang dijana sebelum pelayan menyedari sambungan ditutup akan dibilkan. Log X-Request-ID dan bandingkan dengan rekod usage anda.

### Bagaimanakah saya tahu strim selesai dengan normal?

Anda menerima data: \[DONE\] dan chunk kandungan terakhir mempunyai finish\_reason seperti stop. finish\_reason length bermaksud max\_tokens memotong jawapan. Tiada \[DONE\] bermaksud sambungan terputus.

### Adakah penstriman menjadikan model lebih pantas?

Tidak. Jumlah masa penjanaan adalah sama. Penstriman memendekkan masa sehingga pengguna melihat perkataan pertama, dan itulah yang menjadikan antara muka chat terasa pantas.

## Teruskan membaca

-   [Kependaman LLM: TTFT vs token sesaat vs masa hujung ke hujung](https://broadrouter.com/ms/blog/llm-latency-ttft-throughput/)
-   [Log penggunaan API LLM: kos setiap pengguna dan ciri, PII disunting](https://broadrouter.com/ms/blog/llm-api-usage-logging/)
-   [Cara mengendalikan ralat 429 API LLM: backoff, jitter dan pengehad](https://broadrouter.com/ms/blog/handle-llm-api-429-rate-limits/)
-   [Perkakasan GPU dan pendekatan penyajian BroadNet, menurut BroadNet](https://broadrouter.com/ms/blog/broadnet-gpu-fleet-and-serving/)
-   [Cache respons API LLM untuk jimat kos: cache padanan tepat Python](https://broadrouter.com/ms/blog/cache-llm-responses-cut-cost/)
-   [Panduan: Strim chat completions dan kendalikan sambungan yang terputus](https://broadrouter.com/ms/guides/streaming-chat-completions/)
-   [Panduan: Cara guna OpenAI Python SDK dengan BroadNet Inference](https://broadrouter.com/ms/guides/openai-python-sdk/)
-   [Panduan: Cara guna OpenAI Node.js SDK dengan BroadNet Inference](https://broadrouter.com/ms/guides/openai-node-sdk/)
-   [Panduan: Kod ralat BroadNet Inference dan bila perlu cuba semula](https://broadrouter.com/ms/guides/errors-and-retries/)

Cuba dengan beban kerja sebenar anda. Akaun baharu bermula dengan kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM dan Qwen3.8 memerlukan tambah nilai.

[Mulakan](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-blog-llm-streaming-sse-explained&utm_content=page-cta) ·

**Sumber**

-   [Rujukan API BroadNet Inference, penstriman dan usage (Bahasa Inggeris)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-blog-llm-streaming-sse-explained&utm_content=sources#requests)
-   [MDN, Using server-sent events](https://developer.mozilla.org/en-US/docs/Web/API/Server-sent_events/Using_server-sent_events)
-   [Pengumuman komuniti OpenAI, statistik usage dalam penstriman (stream\_options)](https://community.openai.com/t/usage-stats-now-available-when-using-streaming-with-the-chat-completions-api-or-completions-api/738156)
-   [README openai-python, respons penstriman dan cuba semula (disemak 2026-11-14)](https://github.com/openai/openai-python)
-   [README openai-node, pembatalan dengan AbortSignal (disemak 2026-11-14)](https://github.com/openai/openai-node)
