BroadRouter

在 LangChain 中调用 BroadNet Inference

更新于

安装 langchain-openai,创建 ChatOpenAI 时把 base_url 设为 https://inference.broadnet.ai/v1,api_key 填你的 BroadNet 密钥,模型填 BroadNet 模型 ID,例如 broadnet/glm-5.3。之后 invoke、流式输出和工具调用链都走 chat completions。避开只有 Responses API 才有的功能,并给 max_tokens 留出思考的空间。

LangChain 的 ChatOpenAI 可以通过 base_url 接入任何端点。BroadNet Inference 使用标准的 chat completions 格式,所以可以直接接上。如果你想直接调用 API,请看 Python SDK 指南。

安装

当前的 langchain-openai(1.x)需要 Python 3.11 或更高版本。

pip install -U langchain-openai
export BROADNET_API_KEY='paste-the-key-once'

连接

import os
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="broadnet/glm-5.3",
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=2000,  # reasoning counts toward this limit
)

print(llm.invoke("Summarise the CAP theorem in two sentences.").content)

代码里的英文注释意思是:思考内容也计入这个上限。

openai_api_base 是 base_url 的别名。两者都没传时,LangChain 会读取 OPENAI_API_BASE,然后底层的 openai 客户端再读取 OPENAI_BASE_URL。

需要注意的地方

  • 思考文本不会保留。 LangChain 的文档说,ChatOpenAI 遵循 OpenAI 官方规范,不会保留 reasoning_content 这类非标准字段。你拿到的是最终回答,这通常正是链需要的。
  • 给思考留出空间。 GLM 5.3、DeepSeek V4.1 Flash 和 Qwen3.8 27B 会先思考。max_tokens 太小可能返回空回答。为什么回答会是空的。
  • 流式输出时的用量。 如果你用 OPENAI_BASE_URL 配置端点,LangChain 默认会关闭 stream_usage。想在流式输出时拿到 token 用量,请传 stream_usage=True。BroadNet 的文档说,请求了用量时,它会在最后一个数据块里返回。
  • 只用 chat completions。 BroadNet 提供的是 /v1/chat/completions,不提供 Responses API。LangChain 的文档说,当你使用 OpenAI 内置工具(网页搜索、文件搜索、代码解释器等)、会话状态或 reasoning 参数时,ChatOpenAI 会切换到 Responses API。不要用这些功能,也不要设置 use_responses_api=True。
  • token 上限的参数名。 LangChain 的文档说,max_tokens 在内部会被转换成 max_completion_tokens。BroadNet 的文档写的是 max_tokens。如果上限看起来没有生效,请检查应用实际发出的请求。

不同的链用哪个模型

链 模型
工具调用和结构化输出 broadnet/glm-5.3
长文档和智能体,不限量套餐 broadnet/deepseek-v4.1-flash
阿拉伯语文本或图片 broadnet/qwen3.8-27b

查看所有模型的价格。

故障排查

  • 401。 密钥错误、已过期,或者按量付费额度已用完。如果你没有传 api_key,LangChain 会使用 OPENAI_API_KEY,而这个变量里可能是 OpenAI 的密钥。
  • 404 或 “not found”。 检查 base_url 是否以 /v1 结尾,以及有没有什么设置把调用转到了 Responses API(见上文)。然后检查模型 ID 是否与 BroadNet 的完全一致,包括 broadnet/ 前缀。付费模型需要先充值;$5 初始额度可用于 broadnet/gemma-4-26b-a4b 和两个 Transcribe 模型。
  • content 为空。 思考用完了额度。提高 max_tokens。为什么回答会是空的。
  • 始终不发生工具调用。 请使用 broadnet/glm-5.3 或 broadnet/qwen3.8-27b。BroadNet 的文档只为这两个模型列出了工具功能。
  • 批量或并行链返回 429。 按量付费密钥每分钟允许 30 个请求,同时最多 4 个进行中的请求。调用 batch() 时,在 runnable 配置里设置 max_concurrency。参见错误码与重试。

常见问题

ChatOpenAI 里该用 base_url 还是 openai_api_base?

都可以。openai_api_base 是 base_url 的别名。两者都没传时,LangChain 会先读 OPENAI_API_BASE,然后 openai 客户端再读 OPENAI_BASE_URL。

只用环境变量能设置 BroadNet 端点吗?

可以。把 OPENAI_BASE_URL 设为 https://inference.broadnet.ai/v1,把 OPENAI_API_KEY 设为你的 BroadNet 密钥,然后创建 ChatOpenAI 时只传模型 ID。如果流式输出时也想拿到 token 用量,请传 stream_usage=True。

为什么 LangChain 会丢掉 BroadNet 返回的 reasoning_content?

LangChain 的文档说,ChatOpenAI 遵循 OpenAI 官方规范,不会提取 reasoning_content 这类非标准字段。最终回答仍然在 content 里。

用 ChatOpenAI 调用 BroadNet 支持工具调用吗?

支持,通过 bind_tools 使用,前提是 BroadNet 为该模型列出了工具功能。工具调用和 with_structured_output 请用 broadnet/glm-5.3 或 broadnet/qwen3.8-27b。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity