BroadRouter

Chat Completions API(对话补全接口)

更新于

Chat Completions API 是 OpenAI 的 HTTP 端点 POST /v1/chat/completions,它接收模型名称和一组带角色标记的消息,返回模型的下一条消息。它的请求与响应结构已成为 OpenAI 兼容服务商和各类 SDK 通用的格式。

又称: 对话补全接口、聊天补全 API、chat 接口、Chat Completions、chat completions endpoint、/v1/chat/completions、chat.completions.create

外面绝大多数大模型代码说的都是同一种“方言”:一组消息进去,一条消息出来。这种方言就是 Chat Completions API。

工作原理

你向 /v1/chat/completions POST 一段 JSON,带上 model 和 messages 数组。每条消息有一个 role(system、user、assistant 或 tool)和 content。回复中有一个 choices 数组;每个 choice 带一条 message 和一个说明生成为何结束的 finish_reason,另外还有一个记录 token 数量的 usage 块。

curl https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b",
       "messages":[{"role":"system","content":"Answer in one line."},
                   {"role":"user","content":"What is a token?"}]}'

在 OpenAI Python SDK 中,同样的调用写作 client.chat.completions.create(...)。可选字段用来调整输出:max_tokens、temperature、stream、tools、response_format 等。

这个 API 是无状态的。OpenAI 的迁移指南说,在 Chat Completions 中 “conversation state must be managed manually”(译文:对话状态必须手动管理):由你的代码保存历史,并在每一轮重新发送。OpenAI 更新的 Responses API 使用带类型的条目,可以在服务端保存状态,OpenAI 也建议在其平台上的新项目使用它,但同时说明 Chat Completions “remains supported”(译文:仍受支持)。

为什么重要

  • 可移植性。 OpenAI 兼容 API 通常指的就是这个端点。更换服务商往往只需要换一个 base URL、密钥和模型名。
  • 成本。 因为每次都要重发整段历史,输入 token 每一轮都在增长。长对话要裁剪或做摘要。
  • 字段差异。 兼容服务商并不都接受 OpenAI 的每个字段。未知字段可能被忽略,也可能被拒绝,所以要测试你依赖的那些字段。

在 BroadNet Inference 上

BroadNet 在 https://inference.broadnet.ai/v1 上通过 POST /v1/chat/completions 提供对话服务,支持 DeepSeek V4.1 Flash、GLM 5.3、Qwen3.8 27B 和 Gemma 4 VL 26B。流式输出使用 stream=true,并以 data: [DONE] 结束。工具调用和结构化输出只对 GLM 5.3 和 Qwen3.8 27B 有文档说明。BroadNet 的 API 参考文档没有说明 Responses 端点,所以请使用 Chat Completions。可以从 curl 快速入门或 Python SDK 指南开始。

常见错误

  • 只发送最新一条用户消息,却指望模型记得之前的对话。
  • 不查对方的参考文档,就把 OpenAI 独有的字段照搬到另一家服务商。

常见问题

Chat Completions API 被弃用了吗?

没有。OpenAI 的迁移指南说 "Chat Completions remains supported"(译文:Chat Completions 仍受支持),同时建议在 OpenAI 上的新项目使用更新的 Responses API。

Chat Completions API 会记住之前的消息吗?

不会。它是无状态的。OpenAI 的指南说对话状态 "must be managed manually"(译文:必须手动管理),所以每次请求都要发送完整的消息历史。

BroadNet Inference 的对话用哪个端点?

在 base URL https://inference.broadnet.ai/v1 下的 POST /v1/chat/completions。BroadNet 没有说明有 Responses API 端点。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity