BroadRouter
开始使用

在 BroadNet Inference 上构建 LangGraph 智能体

更新于

安装 langgraph 和 langchain-openai,然后创建 ChatOpenAI:model 设为 BroadNet 模型 ID(例如 broadnet/glm-5.3),base_url 设为 https://inference.broadnet.ai/v1,api_key 填你的 BroadNet 密钥。把工具绑定到模型上,在 StateGraph 节点中使用,或传给 langchain 的 create_agent。请使用 GLM 5.3 或 Qwen3.8 27B,BroadNet 只为这两个模型列出了工具。

LangGraph 是 LangChain 推出的库,用图的方式构建有状态、多步骤的智能体。它没有自己的模型客户端:由你的节点调用 LangChain 的对话模型。要在 BroadNet Inference 上运行图,就给它一个 langchain-openai 中的 ChatOpenAI,并配上 BroadNet 的 base URL。BroadRouter 是 BroadNet 自己的网站;本文依据的是 LangGraph 1.2.22 和 langchain-openai 1.8 时的 LangGraph 与 LangChain 文档。

安装

pip install langgraph langchain-openai
export BROADNET_API_KEY='your-broadnet-key'

一个调用工具的图

import os
from langchain_openai import ChatOpenAI
from langchain_core.tools import tool
from langgraph.graph import StateGraph, MessagesState, START
from langgraph.prebuilt import ToolNode, tools_condition
from langgraph.checkpoint.memory import InMemorySaver

@tool
def get_weather(city: str) -> str:
    """Get the weather for a city."""
    return f"21C and sunny in {city}"

tools = [get_weather]
model = ChatOpenAI(
    model="broadnet/glm-5.3",
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
).bind_tools(tools)

def call_model(state: MessagesState):
    return {"messages": [model.invoke(state["messages"])]}

builder = StateGraph(MessagesState)
builder.add_node("model", call_model)
builder.add_node("tools", ToolNode(tools))
builder.add_edge(START, "model")
builder.add_conditional_edges("model", tools_condition)
builder.add_edge("tools", "model")
graph = builder.compile(checkpointer=InMemorySaver())

config = {"configurable": {"thread_id": "demo-1"}}
result = graph.invoke({"messages": [{"role": "user", "content": "What's the weather in Riyadh?"}]}, config)
print(result["messages"][-1].content)

模型节点调用 BroadNet。当回复中包含工具调用时,tools_condition 把图引向工具节点,工具结果再回到模型。checkpointer 按 thread_id 保存对话,所以用同一个 config 再次 invoke 就会接着之前的对话继续。

从图中流式输出 token

for chunk, meta in graph.stream(
    {"messages": [{"role": "user", "content": "And in Dubai?"}]},
    config,
    stream_mode="messages",
):
    if chunk.content and meta["langgraph_node"] == "model":
        print(chunk.content, end="", flush=True)

使用 stream_mode="messages" 时,ChatOpenAI 会向 BroadNet 发送 stream: true,LangGraph 把 token 原样传出。

预构建智能体

如果不需要自定义图,预构建的智能体循环可以直接使用同一个模型:

from langchain.agents import create_agent  # pip install langchain

agent = create_agent(
    ChatOpenAI(model="broadnet/glm-5.3", base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"]),
    tools=tools,
)
agent.invoke({"messages": [{"role": "user", "content": "Weather in Riyadh?"}]})

langgraph.prebuilt 中的 create_react_agent 在 LangGraph 1.2.22 里仍然能运行,但会打印警告,提示它已迁移到 langchain.agents.create_agent。

选哪个模型

图 模型
带工具的智能体、结构化输出 broadnet/glm-5.3(1,048,576 token 上下文)
工具加图片输入或阿拉伯语文本 broadnet/qwen3.8-27b(262,144 token 上下文)
不调用工具的图、长文档 broadnet/deepseek-v4.1-flash

BroadNet 的文档只为 GLM 5.3 和 Qwen3.8 27B 列出了工具和结构化输出。DeepSeek V4.1 Flash 是不限量套餐上的模型,适合不调用工具的“总结并路由”类图。在依赖它跑工具循环之前,先测试一下。所有模型的价格。

需要注意的设置

  • 保持使用 chat completions。 BroadNet 提供的是 /v1/chat/completions。LangChain 的文档说,当你使用 OpenAI 内置工具、对话状态或 reasoning 参数时,ChatOpenAI 会切换到 Responses API。不要用这些功能,也不要设置 use_responses_api=True。
  • 输出上限。 在 DeepSeek V4.1 Flash、GLM 5.3 和 Qwen3.8 27B 上,思考内容计入输出预算。在模型上把 max_tokens 设为 2,000 或更高。在我们的测试中,langchain-openai 1.8 把它作为 max_completion_tokens 发送。
  • 并行分支。 每个调用模型的分支都是一个独立请求。按量付费密钥同时最多允许 4 个进行中的请求,套餐会话一次只处理一个。

我们是怎么测试的

2026-11-15,我们在一个干净的虚拟环境中安装了 langgraph 1.2.22、langchain-openai 1.8.0 和 langchain 1.5.0,把上面的图、流式循环和 create_agent 指向一个本地 mock 服务器运行。该服务器模拟 BroadNet 的 chat completions 格式,并返回工具调用。我们检查了记录下来的请求:每次调用都发到了 /v1/chat/completions,模型 ID broadnet/glm-5.3 原样未变,带 Bearer 密钥和工具 schema,工具结果以 tool 消息返回。我们没有 BroadNet 密钥,因此没有测试真实的模型输出。

故障排查

  • 401。 密钥错误、已过期,或者额度已用完。
  • 404。 base_url 必须以 /v1 结尾。检查模型 ID,包括 broadnet/ 前缀。付费模型需要先充值;$5 初始额度只覆盖 broadnet/gemma-4-26b-a4b 和两个 Transcribe 模型。
  • 智能体从不调用工具。 换成 broadnet/glm-5.3 或 broadnet/qwen3.8-27b。
  • 回答为空。 输出预算被思考用光了。调高 max_tokens。为什么回答会是空的。
  • 429。 按量付费密钥每分钟允许 30 个请求。给 ChatOpenAI 加上 max_retries,并参见错误码与重试。

常见问题

LangGraph 需要专门的 BroadNet 集成吗?

不需要。LangGraph 运行的是你的节点所调用的对话模型。使用 LangChain 的 ChatOpenAI,把 base_url 设为 https://inference.broadnet.ai/v1,每个调用模型的节点都会通过 chat completions 请求 BroadNet。

该用 create_react_agent 还是 create_agent?

在 LangGraph 1.2 中,langgraph.prebuilt 的 create_react_agent 仍然可用,但会打印弃用警告,指向 langchain 包中的 create_agent。两者在我们的 mock 服务器上配合 BroadNet 风格的模型 ID 都能正常工作。

LangGraph 智能体该用哪个 BroadNet 模型?

GLM 5.3(broadnet/glm-5.3)或 Qwen3.8 27B(broadnet/qwen3.8-27b)。智能体循环依赖工具调用,而 BroadNet 只为这两个模型列出了工具。

为什么我设置的 max_tokens 被当作 max_completion_tokens 发送?

langchain-openai 1.8 会在请求中把 max_tokens 改名为 max_completion_tokens。BroadNet 的 API 参考文档描述的是 max_tokens。如果输出上限似乎没有生效,请检查应用实际发出的请求。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity