---
title: "大模型 SSE 流式输出：分块、delta、用量与取消 | BroadRouter"
description: "chat completion 的流式输出在传输层是什么样子，如何从 delta 拼出完整回答、从最后一个分块读取用量，以及如何在 Python、Node 和 curl 中干净地取消。"
url: https://broadrouter.com/zh/blog/llm-streaming-sse-explained/
lang: zh-Hans
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。[阅读英文原文](https://broadrouter.com/blog/llm-streaming-sse-explained/)（2026-11-16 更新）。

# 大模型流式输出详解：SSE 分块、delta、用量与取消

BroadNet Inference 团队 · 阅读约 4 分钟 · 发布于 2026-11-14 · 更新于 2026-11-16

大模型 API 以 Server-Sent Events（SSE）的形式流式返回 chat completion：每个 data 行包含一个 JSON 分块，其中 choices\[0\].delta 携带下一段文本。把各个 delta 拼接起来，遇到 data: \[DONE\] 时停止；把 stream\_options 的 include\_usage 设为 true，就能在最后一个 choices 为空的分块中拿到 token 用量。要取消，关闭连接即可。

## 要点

-   流式输出就是普通的 HTTP：`Content-Type: text/event-stream`，每个分块一行 `data:`，事件之间用空行分隔，最后是 `data: [DONE]`。
-   每个分块携带的是 `delta`，而不是完整消息。把 `delta.content` 字符串拼接起来，就能还原回答。
-   流式输出默认不返回用量。`stream_options: {"include_usage": true}` 会额外加上最后一个分块，其中包含用量，`choices` 数组为空。
-   每次访问 `choices[0]` 都要做保护：用量分块没有 choices，默认它存在的解析器会崩溃。
-   关闭 HTTP 连接即可取消。没有收到 `[DONE]` 就结束的流，是一个不完整的回答，而不是已完成的回答。

**本页内容**

1.  SSE 流在传输层是什么样子？
2.  分块里有什么？
3.  怎么从流式输出中拿到 token 用量？
4.  Python：流式输出、收集用量、取消
5.  Node：用 AbortController 流式输出
6.  curl：查看原始事件
7.  怎么取消流式输出？要花多少钱？
8.  需要检查的五个流式输出 bug
9.  BroadNet Inference 适合什么场景

不使用[流式输出](https://broadrouter.com/zh/glossary/streaming/)时，chat completion 要等整个回答写完才会返回。一个 600 token 的回复，在 约每秒 100 个 token 的速度下，意味着好几秒的静默等待。使用流式输出，模型一写出第一个字，用户就能看到。本文介绍传输层上实际传输的内容、如何解析、如何从流中取得 [token](https://broadrouter.com/zh/glossary/token/) 用量，以及如何干净地停止。BroadNet 相关规则的简要版本，见[流式输出参考指南](https://broadrouter.com/zh/guides/streaming-chat-completions/)。

## SSE 流在传输层是什么样子？

Server-Sent Events 是一个 `Content-Type: text/event-stream` 的普通 HTTP 响应。服务器保持连接打开，不断写入事件。每个事件由一行或多行 `data:` 加一个空行组成。OpenAI 兼容 API 在每个事件中放一个 JSON 分块，最后以字面量 `[DONE]` 结束：

```text
data: {"id":"c1","object":"chat.completion.chunk","choices":[{"index":0,"delta":{"role":"assistant","content":""},"finish_reason":null}],"usage":null}

data: {"id":"c1","object":"chat.completion.chunk","choices":[{"index":0,"delta":{"content":"One, "},"finish_reason":null}],"usage":null}

data: {"id":"c1","object":"chat.completion.chunk","choices":[{"index":0,"delta":{"content":"two, three."},"finish_reason":"stop"}],"usage":null}

data: {"id":"c1","object":"chat.completion.chunk","choices":[],"usage":{"prompt_tokens":14,"completion_tokens":6,"total_tokens":20}}

data: [DONE]
```

上面的结构只是示意，并做了精简。真实的分块还带有 `model` 和 `created`，思考模型还可能在用量中报告思考 token。

## 分块里有什么？

| 字段 | 位置 | 含义 |
| --- | --- | --- |
| `choices[0].delta.role` | 第一个分块 | 通常是 `assistant`。只发送一次。 |
| `choices[0].delta.content` | 大多数分块 | 下一段文本。可能为空。 |
| `choices[0].delta.tool_calls` | 工具调用 | 函数名和 JSON 参数的片段，按 `index` 拼接。 |
| `choices[0].finish_reason` | 最后一个内容分块 | `stop`、`length` 或 `tool_calls`。在此之前为 `null`。 |
| `usage` | 最后一个分块（如有请求） | 整个请求的总计。其他地方都是 `null`。 |

关键在于**增量（delta），而不是快照**。每个分块只包含新增的内容。你要按顺序把这些片段拼起来，还原整条消息。[工具调用](https://broadrouter.com/zh/glossary/tool-calling/)也以同样的方式流式传输：参数以字符串片段的形式到达，直到最后一个片段到达之前都不是合法的 JSON，所以要等 `finish_reason` 为 `tool_calls` 之后再解析。

## 怎么从流式输出中拿到 token 用量？

非流式响应总是包含 `usage`。流式输出则不会，除非你主动请求。设置 `stream_options: {"include_usage": true}`，服务器就会在 `[DONE]` 之前多发一个分块。这个分块包含总计，并且 **`choices` 数组为空**。在 BroadNet Inference 上，模型报告时，用量中还可能包含 `prompt_tokens_details.cached_tokens` 和 `completion_tokens_details.reasoning_tokens`，这正是[成本记录](https://broadrouter.com/zh/blog/llm-api-usage-logging/)所需要的。

常见的 bug：在每个分块上都读取 `chunk.choices[0]` 的代码，遇到用量分块时会抛出索引错误。先检查 `choices`。

## Python：流式输出、收集用量、取消

```python
import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

stream = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",  # DeepSeek V4.1 Flash, a reasoning model
    messages=[{"role": "user", "content": "Explain SSE in three sentences."}],
    stream=True,
    stream_options={"include_usage": True},
    max_tokens=2000,  # reasoning counts toward this limit
)

def user_pressed_stop():  # replace with your own condition
    return False

parts, usage, finish = [], None, None
try:
    for chunk in stream:
        if chunk.choices:
            choice = chunk.choices[0]
            if choice.delta.content:
                parts.append(choice.delta.content)
                print(choice.delta.content, end="", flush=True)
            if choice.finish_reason:
                finish = choice.finish_reason
        if chunk.usage:
            usage = chunk.usage
        if user_pressed_stop():  # your own condition
            break
finally:
    stream.close()  # closes the HTTP connection

text = "".join(parts)
```

只用 `break` 会停止读取，但套接字会一直打开，直到被垃圾回收。要显式关闭，让服务器察觉到断开。

## Node：用 AbortController 流式输出

```javascript
import OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://inference.broadnet.ai/v1", apiKey: process.env.BROADNET_API_KEY });
const controller = new AbortController();
setTimeout(() => controller.abort(), 30_000); // hard stop after 30 s

const stream = await client.chat.completions.create(
  {
    model: "broadnet/deepseek-v4.1-flash",
    messages: [{ role: "user", content: "Explain SSE in three sentences." }],
    stream: true,
    stream_options: { include_usage: true },
  },
  { signal: controller.signal },
);

let text = "";
for await (const chunk of stream) {
  const delta = chunk.choices[0]?.delta?.content;
  if (delta) text += delta;
  if (chunk.usage) console.log(chunk.usage);
}
```

[openai-node README](https://github.com/openai/openai-node) 说明了 `signal` 选项，而且在响应体仍在读取时也有效。在 Web 服务器中，把 `controller.abort()` 绑定到客户端请求的 `close` 事件上，这样用户离开页面时生成也会随之停止。更多配置见 [Node SDK 指南](https://broadrouter.com/zh/guides/openai-node-sdk/)。

## curl：查看原始事件

```bash
curl -N https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Count to five."}]}'
```

`-N` 关闭输出缓冲，事件一到就打印出来。按 Ctrl+C 取消，这会关闭连接。[API 请求构建器](https://broadrouter.com/tools/api-request-builder/)可以为任意模型和 base URL 生成这个请求，以及对应的 Python 和 Node 版本。

## 怎么取消流式输出？要花多少钱？

在 SSE 中，取消就是关闭连接，没有专门的“停止”消息。之后会发生什么取决于服务器：表现良好的服务器会察觉到套接字已关闭，并停止生成。在那之前生成的 token 都是实打实的计算。BroadNet 的 API 参考没有说明被取消的流如何计费，所以在[按量付费](https://broadrouter.com/zh/glossary/pay-as-you-go/)时，请按“断开前生成的 token 都会计费”来规划，并核对你的用量记录。在固定价格套餐上，取消的流不会产生额外费用，但只有服务器停止生成后，会话才会被释放。

## 需要检查的五个流式输出 bug

1.  \*\*会缓冲的代理。\*\*Nginx 和一些 CDN 会缓冲响应，于是客户端一下子收到全部内容。为流式输出的路由关闭代理缓冲。
2.  \*\*不检查 `[DONE]`。\*\*连接中断看起来就像一个较短的回答。把缺少 `[DONE]` 视为不完整，并按[错误指南](https://broadrouter.com/zh/guides/errors-and-retries/)所述记录 `X-Request-ID`。
3.  \*\*在流的中途重试。\*\*响应体开始到达后，SDK 就不会再重试。重试就是一个新请求，在按量付费下也就是一笔新账单。
4.  \*\*忽略 `finish_reason: length`。\*\*在 [DeepSeek V4.1 Flash](https://broadrouter.com/zh/models/deepseek-v4.1-flash/) 这类思考模型上，思考过程计入 [max\_tokens](https://broadrouter.com/zh/glossary/max-tokens/)，所以上限太小时，流可能在出现任何可见文本之前就停止了。参见[思考 token 的成本](https://broadrouter.com/zh/blog/reasoning-tokens-cost/)。
5.  \*\*行切分出错。\*\*如果你手动解析 SSE，要先缓冲字节，直到看到空行为止。一次 TCP 读取可能在某个 JSON 分块的中间结束。

## BroadNet Inference 适合什么场景

BroadNet Inference 使用标准的 [OpenAI 兼容](https://broadrouter.com/zh/glossary/openai-compatible-api/)流式输出格式，所以 Python 和 Node SDK 无需修改就能解析。模型报告时，最后一个分块中的用量包含缓存 token 和思考 token。它的文档表示，在投入生产之前仍应逐个模型验证流式输出，所以请在你实际上线的模型上运行上面的代码。如果你最关心第一个 token 多快到达，接下来请读 [TTFT 与吞吐量](https://broadrouter.com/zh/blog/llm-latency-ttft-throughput/)。如果你需要基于 WebSocket 的实时语音，这个 API 并不是为此设计的；它提供的是 chat completions 和文件转写。

相关免费工具（英文）

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[免费工具（英文）](https://broadrouter.com/tools/)

## 本文涉及的术语

[Token（词元）](https://broadrouter.com/zh/glossary/token/)

token（词元）是大语言模型读写文本的基本单位：由模型的分词器切分出的一个词、词的一部分、一个标点或一段字节序列。大模型 API 按 token 计数、设定限制，通常也按 token 计费。

[SSE（服务器发送事件，Server-sent events）](https://broadrouter.com/zh/glossary/sse/)

SSE（服务器发送事件，Server-sent events）是一项 Web 标准，让服务器通过一个内容类型为 text/event-stream 的长连接 HTTP 响应，向客户端推送一连串文本事件。每个事件由一行或多行字段（如 data:）组成，以一个空行结束。

[流式输出（streaming）](https://broadrouter.com/zh/glossary/streaming/)

流式输出是一种在语言模型仍在生成时，就把回复分成小块陆续返回的方式，而不是在最后一次性返回。当请求把 stream 设为 true 时，OpenAI 兼容 API 会通过服务器发送事件（SSE）进行流式输出。

[思考 token（reasoning tokens）](https://broadrouter.com/zh/glossary/reasoning-tokens/)

思考 token（reasoning tokens）是推理模型在写出可见回答之前、为解决问题而生成的 token。它们通常按输出 token 计费，计入输出上限和上下文窗口，API 可能将其隐藏或只返回摘要。

[按量付费（pay-as-you-go）](https://broadrouter.com/zh/glossary/pay-as-you-go/)

按量付费是一种计价模式：你只为实际用量付费，按 token、请求次数或音频分钟等单位计量，没有订阅费，也没有最低消费承诺。大多数大模型 API 都这样计费，从预付余额中扣减或定期开具账单。

[Base URL（base\_url）](https://broadrouter.com/zh/glossary/base-url/)

base URL 是 API 固定的根地址，例如 https://api.example.com/v1，客户端会把它加在每个端点路径（例如 /chat/completions）前面。在 OpenAI 兼容 SDK 中，修改 base URL，再配合 API 密钥和模型 ID，就能让同一份代码改用另一家服务商。

[大模型包月套餐（flat-rate LLM plan）](https://broadrouter.com/zh/glossary/flat-rate-llm-plan/)

大模型包月套餐（固定价格套餐）是按一个周期（如一个月）收取固定费用、提供大模型 API 使用权的计价方式，不按 token 计费。这类套餐通常会限制别的东西，如并发、速度、模型或使用时间窗口，所以限制条件和价格同样重要。

[工具调用（tool calling / function calling）](https://broadrouter.com/zh/glossary/tool-calling/)

工具调用（也叫函数调用，function calling）是大模型 API 的一项功能：模型返回一个结构化请求，要求执行开发者定义的某个函数，并附上 JSON 参数。应用执行该函数并把结果发回；模型自己从不执行代码。

## 常见问题

### 大模型流式输出用 SSE 和 WebSocket 有什么区别？

SSE 是单向的，从服务器到客户端，走的是普通的 HTTP 响应。chat completion 只需要这些，所以 OpenAI 兼容 API 都用 SSE。WebSocket 是双向的，需要协议升级；它用于实时语音，而不是 chat completions。

### 为什么流式分块里的 usage 是 null？

只有你请求时才会发送用量。加上 stream\_options，并把 include\_usage 设为 true。之后除最后一个分块外，所有分块的 usage 都是 null，最后一个分块携带总计，choices 列表为空。

### 取消流式输出还会计费吗？

各服务商不同，很多都没有在文档中说明。请假设服务器在察觉连接关闭之前生成的 token 会被计费。记录 X-Request-ID，并与你的用量记录核对。

### 怎么判断流式输出是正常结束的？

你收到了 data: \[DONE\]，并且最后一个内容分块带有 stop 之类的 finish\_reason。finish\_reason 为 length 表示回答被 max\_tokens 截断了。没有 \[DONE\] 则说明连接中断了。

### 流式输出能让模型变快吗？

不能。总的生成时间是一样的。流式输出缩短的是用户看到第一个字之前的等待时间，这正是聊天界面让人感觉很快的原因。

## 继续阅读

-   [大模型延迟：首 token 延迟、每秒 token 数与端到端耗时](https://broadrouter.com/zh/blog/llm-latency-ttft-throughput/)
-   [大模型 API 用量日志：按用户和功能算成本，脱敏 PII](https://broadrouter.com/zh/blog/llm-api-usage-logging/)
-   [大模型 API 报 429 错误怎么办：退避、抖动与并发限制](https://broadrouter.com/zh/blog/handle-llm-api-429-rate-limits/)
-   [BroadNet 的 GPU 硬件与推理部署方式（据 BroadNet 自述）](https://broadrouter.com/zh/blog/broadnet-gpu-fleet-and-serving/)
-   [缓存大模型 API 响应以降低成本：用 Python 实现精确匹配缓存](https://broadrouter.com/zh/blog/cache-llm-responses-cut-cost/)
-   [指南：对话补全的流式输出，以及连接中断的处理](https://broadrouter.com/zh/guides/streaming-chat-completions/)
-   [指南：用 OpenAI Python SDK 调用 BroadNet Inference](https://broadrouter.com/zh/guides/openai-python-sdk/)
-   [指南：用 OpenAI Node.js SDK 调用 BroadNet Inference](https://broadrouter.com/zh/guides/openai-node-sdk/)
-   [指南：BroadNet Inference 错误码，以及什么时候该重试](https://broadrouter.com/zh/guides/errors-and-retries/)

用你的真实业务负载试一试。新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-blog-llm-streaming-sse-explained&utm_content=page-cta) ·

**来源**

-   [BroadNet Inference API 参考：流式输出与用量（英文）](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-blog-llm-streaming-sse-explained&utm_content=sources#requests)
-   [MDN：使用服务器发送事件](https://developer.mozilla.org/en-US/docs/Web/API/Server-sent_events/Using_server-sent_events)
-   [OpenAI 社区公告：流式输出中提供用量统计（stream\_options）](https://community.openai.com/t/usage-stats-now-available-when-using-streaming-with-the-chat-completions-api-or-completions-api/738156)
-   [openai-python README：流式响应与重试（2026-11-14 查阅）](https://github.com/openai/openai-python)
-   [openai-node README：用 AbortSignal 取消（2026-11-14 查阅）](https://github.com/openai/openai-node)
