外面绝大多数大模型代码说的都是同一种“方言”:一组消息进去,一条消息出来。这种方言就是 Chat Completions API。
工作原理
你向 /v1/chat/completions POST 一段 JSON,带上 model 和 messages 数组。每条消息有一个 role(system、user、assistant 或 tool)和 content。回复中有一个 choices 数组;每个 choice 带一条 message 和一个说明生成为何结束的 finish_reason,另外还有一个记录 token 数量的 usage 块。
curl https://inference.broadnet.ai/v1/chat/completions \
-H "Authorization: Bearer $BROADNET_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"broadnet/gemma-4-26b-a4b",
"messages":[{"role":"system","content":"Answer in one line."},
{"role":"user","content":"What is a token?"}]}'
在 OpenAI Python SDK 中,同样的调用写作 client.chat.completions.create(...)。可选字段用来调整输出:max_tokens、temperature、stream、tools、response_format 等。
这个 API 是无状态的。OpenAI 的迁移指南说,在 Chat Completions 中 “conversation state must be managed manually”(译文:对话状态必须手动管理):由你的代码保存历史,并在每一轮重新发送。OpenAI 更新的 Responses API 使用带类型的条目,可以在服务端保存状态,OpenAI 也建议在其平台上的新项目使用它,但同时说明 Chat Completions “remains supported”(译文:仍受支持)。
为什么重要
- 可移植性。 OpenAI 兼容 API 通常指的就是这个端点。更换服务商往往只需要换一个 base URL、密钥和模型名。
- 成本。 因为每次都要重发整段历史,输入 token 每一轮都在增长。长对话要裁剪或做摘要。
- 字段差异。 兼容服务商并不都接受 OpenAI 的每个字段。未知字段可能被忽略,也可能被拒绝,所以要测试你依赖的那些字段。
在 BroadNet Inference 上
BroadNet 在 https://inference.broadnet.ai/v1 上通过 POST /v1/chat/completions 提供对话服务,支持 DeepSeek V4.1 Flash、GLM 5.3、Qwen3.8 27B 和 Gemma 4 VL 26B。流式输出使用 stream=true,并以 data: [DONE] 结束。工具调用和结构化输出只对 GLM 5.3 和 Qwen3.8 27B 有文档说明。BroadNet 的 API 参考文档没有说明 Responses 端点,所以请使用 Chat Completions。可以从 curl 快速入门或 Python SDK 指南开始。
常见错误
- 只发送最新一条用户消息,却指望模型记得之前的对话。
- 不查对方的参考文档,就把 OpenAI 独有的字段照搬到另一家服务商。