---
title: "Streaming phản hồi LLM qua SSE: usage và thử lại | BroadRouter"
description: "Cách streaming hoạt động trên BroadNet Inference: Server-Sent Events, dấu [DONE], thông tin sử dụng token trong chunk cuối và cần làm gì khi stream kết thúc sớm."
url: https://broadrouter.com/vi/guides/streaming-chat-completions/
lang: vi
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Được dịch từ tiếng Anh với sự hỗ trợ của AI. [Đọc bản gốc tiếng Anh](https://broadrouter.com/guides/streaming-chat-completions/) (cập nhật ngày 2026-11-15).

# Streaming chat completions và xử lý khi mất kết nối

Cập nhật 2026-11-15

Đặt stream bằng true trên /v1/chat/completions và đọc Server-Sent Events cho đến đúng dòng data: \[DONE\]. Thêm stream\_options include\_usage để nhận số token trong chunk cuối. Nếu kết nối đóng trước \[DONE\], hãy coi câu trả lời là chưa đầy đủ và ghi log X-Request-ID.

Streaming cho phép agent hoặc giao diện chat hiển thị câu trả lời ngay trong lúc nó được tạo. BroadNet Inference dùng cấu trúc streaming chat completions tiêu chuẩn, nên [OpenAI Python SDK](https://broadrouter.com/vi/guides/openai-python-sdk/) và [OpenAI Node SDK](https://broadrouter.com/vi/guides/openai-node-sdk/) sẽ tự parse giúp bạn.

## Streaming với curl

```bash
curl -N -D stream-headers.txt https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count from one to three."}]}'
```

`-N` tắt bộ đệm của curl, còn `-D` lưu các header, trong đó có `X-Request-ID`.

## Stream trông như thế nào?

Phản hồi là một stream [Server-Sent Events](https://broadrouter.com/vi/glossary/sse/). Theo chuẩn WHATWG HTML, mỗi event gồm một hoặc nhiều dòng `data:` và kết thúc bằng một dòng trống; dòng bắt đầu bằng dấu hai chấm là chú thích, bạn có thể bỏ qua. Mỗi dòng `data:` chứa một chunk JSON, và văn bản nằm trong `choices[0].delta.content`.

## Các quy tắc

1.  Đọc event cho đến đúng dòng `data: [DONE]`, rồi đóng reader.
2.  Với `stream_options: {"include_usage": true}`, ngay trước `[DONE]` sẽ có thêm một chunk. Chunk này chứa `usage` cho toàn bộ request và một danh sách `choices` rỗng, nên hãy kiểm tra `choices` trước khi truy cập theo chỉ số.
3.  Khi model có báo cáo, usage đó gồm `completion_tokens_details.reasoning_tokens` (DeepSeek V4.1 Flash, GLM 5.3 và Qwen3.8 27B suy luận trước khi trả lời) và `prompt_tokens_details.cached_tokens`. Token cache được tính theo đơn giá đầu vào cache thấp hơn.

## Streaming với Python SDK

```python
import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

stream = client.chat.completions.create(
    model="broadnet/gemma-4-26b-a4b",
    messages=[{"role": "user", "content": "Count from one to three."}],
    stream=True,
    stream_options={"include_usage": True},
)
usage = None
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)
    if chunk.usage:
        usage = chunk.usage
print()
print(usage)  # None means the stream ended before the usage chunk
```

SDK tự đọc đến `[DONE]` cho bạn. Nếu dòng cuối in ra `None`, nghĩa là stream đã kết thúc trước khi chunk usage đến. [Hướng dẫn OpenAI Node SDK](https://broadrouter.com/vi/guides/openai-node-sdk/) trình bày vòng lặp tương tự bằng JavaScript.

## Khi stream kết thúc sớm

Nếu kết nối đóng trước `[DONE]`, câu trả lời chưa đầy đủ. Hướng dẫn của BroadNet:

-   ghi lại `X-Request-ID`;
-   quyết định xem ứng dụng của bạn có thể gửi một request **mới** một cách an toàn hay không. Một lần thử lại là một lượt inference mới và bị tính phí lại nếu trả theo mức dùng.

Với agent chạy trên [gói không giới hạn](https://broadrouter.com/vi/guides/unlimited-llm-api-sessions/), thử lại không tốn thêm chi phí, nhưng vẫn chiếm phiên trong lúc chạy.

Tài liệu của BroadNet nói vẫn cần kiểm tra theo từng model trước khi phát hành, rồi mới dựa vào streaming trong production, nên hãy thử trên đúng model bạn sẽ dùng.

## Xử lý sự cố

-   **Mọi thứ chỉ hiện ra ở cuối.** curl cần `-N`. Nếu đi qua proxy của riêng bạn, hãy tắt bộ đệm phản hồi cho `text/event-stream`.
-   **`IndexError` hoặc `undefined` ở chunk cuối.** Chunk usage có danh sách `choices` rỗng. Hãy kiểm tra `chunk.choices` trước khi đọc `[0]`.
-   **Hoàn toàn không có usage.** Bạn chưa gửi `stream_options`, hoặc stream bị ngắt trước chunk cuối.
-   **Stream dừng với `finish_reason` là `length` và rất ít văn bản.** Một model suy luận đã dùng hết `max_tokens` cho phần suy luận. Xem [vì sao model suy luận trả về câu trả lời rỗng](https://broadrouter.com/vi/guides/reasoning-tokens-empty-response/).
-   **429 khi chạy nhiều stream song song.** Mỗi stream đang mở được tính là một request đang xử lý; một key trả theo mức dùng cho phép 4 request đồng thời. Xem [mã lỗi BroadNet và cách thử lại](https://broadrouter.com/vi/guides/errors-and-retries/).

## Thuật ngữ trong hướng dẫn này

[Streaming (trả phản hồi dạng luồng)](https://broadrouter.com/vi/glossary/streaming/)

Streaming là cách trả phản hồi của model ngôn ngữ thành từng chunk nhỏ ngay trong lúc nó đang được sinh, thay vì một câu trả lời trọn vẹn ở cuối. Các API tương thích OpenAI stream qua server-sent events khi request đặt stream là true.

[Trả theo mức dùng (pay-as-you-go)](https://broadrouter.com/vi/glossary/pay-as-you-go/)

Trả theo mức dùng (pay-as-you-go) là mô hình giá mà bạn chỉ trả cho những gì đã dùng, đo theo đơn vị như token, request hoặc phút âm thanh, không có gói đăng ký hay cam kết tối thiểu. Hầu hết API LLM tính phí theo cách này, trừ vào số dư trả trước hoặc qua hóa đơn định kỳ.

[Concurrency (request đồng thời)](https://broadrouter.com/vi/glossary/concurrency/)

Concurrency (request đồng thời) là số request mà một client đang xử lý cùng lúc. Các API LLM thường giới hạn nó theo key hoặc theo gói, tách biệt với số request mỗi phút, vì mỗi request đang mở chiếm dụng năng lực GPU cho tới khi response kết thúc.

[Server-sent events (SSE)](https://broadrouter.com/vi/glossary/sse/)

Server-sent events (SSE) là một chuẩn web cho phép server đẩy một luồng sự kiện dạng văn bản tới client qua một HTTP response duy nhất, giữ mở lâu, với content type text/event-stream. Mỗi sự kiện gồm một hoặc nhiều dòng trường, như data:, và kết thúc bằng một dòng trống.

[Chat Completions API](https://broadrouter.com/vi/glossary/chat-completions-api/)

Chat Completions API là endpoint HTTP của OpenAI, POST /v1/chat/completions, nhận tên model và danh sách message có gắn vai trò rồi trả về message tiếp theo của model. Cấu trúc request và response của nó đã trở thành định dạng chung mà các nhà cung cấp và SDK tương thích OpenAI dùng lại.

[Gói LLM giá cố định (flat-rate LLM plan)](https://broadrouter.com/vi/glossary/flat-rate-llm-plan/)

Gói LLM giá cố định tính một mức giá cố định cho mỗi kỳ, ví dụ một tháng, để dùng API mô hình ngôn ngữ thay vì tính theo token. Gói này thường giới hạn thứ khác, như số request đồng thời, tốc độ, model hay khung giờ sử dụng, nên giới hạn quan trọng không kém giá.

[Token](https://broadrouter.com/vi/glossary/token/)

Token là đơn vị văn bản mà model ngôn ngữ đọc và viết: một từ, một phần của từ, một dấu câu hoặc một chuỗi byte do tokenizer của model tạo ra. API LLM đếm, giới hạn và thường tính phí theo token.

[Token đầu vào từ cache (cached input tokens)](https://broadrouter.com/vi/glossary/cached-input-tokens/)

Token đầu vào từ cache là token prompt mà nhà cung cấp LLM vừa xử lý gần đây và có thể dùng lại từ cache thay vì tính toán lại, thường là phần đầu lặp lại như system prompt hoặc tài liệu. Nhà cung cấp tính giá chúng thấp hơn token đầu vào mới.

## Câu hỏi thường gặp

### Làm sao lấy số token đã dùng khi streaming chat completions?

Gửi stream\_options với include\_usage bằng true. Ngay trước data: \[DONE\] sẽ có thêm một chunk, trong đó usage có giá trị và mảng choices rỗng. Nếu stream bị ngắt trước đó, chunk này sẽ không bao giờ đến.

### Vì sao curl in toàn bộ câu trả lời streaming cùng một lúc?

Mặc định curl dùng bộ đệm cho đầu ra. Thêm cờ -N (không đệm) để mỗi Server-Sent Event được in ra ngay khi đến.

### Stream được thử lại có bị tính phí hai lần không?

Nếu trả theo mức dùng thì có. Một lần thử lại là một request inference mới. Với gói DeepSeek V4.1 Flash không giới hạn thì không đo token, nhưng lần thử lại vẫn chiếm phiên trong lúc chạy.

### Streaming có đắt hơn request thông thường không?

Không. Streaming thay đổi cách câu trả lời được gửi về, không thay đổi cách tính phí. Khi trả theo mức dùng, bạn trả cùng đơn giá đầu vào và đầu ra theo token như một request không dùng streaming.

## Hướng dẫn liên quan

-   [Dùng OpenAI Python SDK với BroadNet Inference](https://broadrouter.com/vi/guides/openai-python-sdk/)
-   [Mã lỗi BroadNet Inference và khi nào nên thử lại](https://broadrouter.com/vi/guides/errors-and-retries/)
-   [Vì sao model suy luận trả về câu trả lời rỗng](https://broadrouter.com/vi/guides/reasoning-tokens-empty-response/)

Hãy thử với khối lượng công việc thực tế của bạn. Tài khoản mới được tặng US$5 tín dụng ban đầu cho Gemma và chuyển giọng nói thành văn bản. DeepSeek, GLM và Qwen3.8 cần nạp tiền.

[Bắt đầu](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-guides-streaming-chat-completions&utm_content=page-cta) ·

**Nguồn**

-   [Tài liệu tham chiếu BroadNet Inference API, streaming (tiếng Anh)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-guides-streaming-chat-completions&utm_content=sources#requests)
-   [WHATWG HTML Standard, server-sent events (kiểm tra ngày 2026-11-14)](https://html.spec.whatwg.org/multipage/server-sent-events.html)
-   [OpenAI Python SDK, docstring của stream\_options include\_usage (kiểm tra ngày 2026-11-14)](https://github.com/openai/openai-python/blob/main/src/openai/types/chat/chat_completion_stream_options_param.py)
