LangChain 的 ChatOpenAI 可以通过 base_url 接入任何端点。BroadNet Inference 使用标准的 chat completions 格式,所以可以直接接上。如果你想直接调用 API,请看 Python SDK 指南。
安装
当前的 langchain-openai(1.x)需要 Python 3.11 或更高版本。
pip install -U langchain-openai
export BROADNET_API_KEY='paste-the-key-once'
连接
import os
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="broadnet/glm-5.3",
base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
max_tokens=2000, # reasoning counts toward this limit
)
print(llm.invoke("Summarise the CAP theorem in two sentences.").content)
代码里的英文注释意思是:思考内容也计入这个上限。
openai_api_base 是 base_url 的别名。两者都没传时,LangChain 会读取 OPENAI_API_BASE,然后底层的 openai 客户端再读取 OPENAI_BASE_URL。
需要注意的地方
- 思考文本不会保留。 LangChain 的文档说,
ChatOpenAI遵循 OpenAI 官方规范,不会保留reasoning_content这类非标准字段。你拿到的是最终回答,这通常正是链需要的。 - 给思考留出空间。 GLM 5.3、DeepSeek V4.1 Flash 和 Qwen3.8 27B 会先思考。
max_tokens太小可能返回空回答。为什么回答会是空的。 - 流式输出时的用量。 如果你用
OPENAI_BASE_URL配置端点,LangChain 默认会关闭stream_usage。想在流式输出时拿到 token 用量,请传stream_usage=True。BroadNet 的文档说,请求了用量时,它会在最后一个数据块里返回。 - 只用 chat completions。 BroadNet 提供的是
/v1/chat/completions,不提供 Responses API。LangChain 的文档说,当你使用 OpenAI 内置工具(网页搜索、文件搜索、代码解释器等)、会话状态或reasoning参数时,ChatOpenAI会切换到 Responses API。不要用这些功能,也不要设置use_responses_api=True。 - token 上限的参数名。 LangChain 的文档说,
max_tokens在内部会被转换成max_completion_tokens。BroadNet 的文档写的是max_tokens。如果上限看起来没有生效,请检查应用实际发出的请求。
不同的链用哪个模型
| 链 | 模型 |
|---|---|
| 工具调用和结构化输出 | broadnet/glm-5.3 |
| 长文档和智能体,不限量套餐 | broadnet/deepseek-v4.1-flash |
| 阿拉伯语文本或图片 | broadnet/qwen3.8-27b |
故障排查
- 401。 密钥错误、已过期,或者按量付费额度已用完。如果你没有传
api_key,LangChain 会使用OPENAI_API_KEY,而这个变量里可能是 OpenAI 的密钥。 - 404 或 “not found”。 检查
base_url是否以/v1结尾,以及有没有什么设置把调用转到了 Responses API(见上文)。然后检查模型 ID 是否与 BroadNet 的完全一致,包括broadnet/前缀。付费模型需要先充值;$5 初始额度可用于broadnet/gemma-4-26b-a4b和两个 Transcribe 模型。 content为空。 思考用完了额度。提高max_tokens。为什么回答会是空的。- 始终不发生工具调用。 请使用
broadnet/glm-5.3或broadnet/qwen3.8-27b。BroadNet 的文档只为这两个模型列出了工具功能。 - 批量或并行链返回 429。 按量付费密钥每分钟允许 30 个请求,同时最多 4 个进行中的请求。调用
batch()时,在 runnable 配置里设置max_concurrency。参见错误码与重试。
