---
title: "LangGraph 配置自定义 OpenAI 兼容 base_url | BroadRouter"
description: "用 ChatOpenAI、base_url 和 BroadNet 模型 ID 在 BroadNet Inference 上运行 LangGraph 的 StateGraph 或 create_agent，并配置工具、流式输出和记忆。"
url: https://broadrouter.com/zh/guides/langgraph-openai-compatible/
lang: zh-Hans
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。[阅读英文原文](https://broadrouter.com/guides/langgraph-openai-compatible/)（2026-11-16 更新）。

# 在 BroadNet Inference 上构建 LangGraph 智能体

更新于 2026-11-16

安装 langgraph 和 langchain-openai，然后创建 ChatOpenAI：model 设为 BroadNet 模型 ID（例如 broadnet/glm-5.3），base\_url 设为 https://inference.broadnet.ai/v1，api\_key 填你的 BroadNet 密钥。把工具绑定到模型上，在 StateGraph 节点中使用，或传给 langchain 的 create\_agent。请使用 GLM 5.3 或 Qwen3.8 27B，BroadNet 只为这两个模型列出了工具。

LangGraph 是 LangChain 推出的库，用图的方式构建有状态、多步骤的智能体。它没有自己的模型客户端：由你的节点调用 LangChain 的对话模型。要在 BroadNet Inference 上运行图，就给它一个 `langchain-openai` 中的 `ChatOpenAI`，并配上 BroadNet 的 base URL。BroadRouter 是 BroadNet 自己的网站；本文依据的是 LangGraph 1.2.22 和 langchain-openai 1.8 时的 LangGraph 与 LangChain 文档。

## 安装

```bash
pip install langgraph langchain-openai
export BROADNET_API_KEY='your-broadnet-key'
```

## 一个调用工具的图

```python
import os
from langchain_openai import ChatOpenAI
from langchain_core.tools import tool
from langgraph.graph import StateGraph, MessagesState, START
from langgraph.prebuilt import ToolNode, tools_condition
from langgraph.checkpoint.memory import InMemorySaver

@tool
def get_weather(city: str) -> str:
    """Get the weather for a city."""
    return f"21C and sunny in {city}"

tools = [get_weather]
model = ChatOpenAI(
    model="broadnet/glm-5.3",
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
).bind_tools(tools)

def call_model(state: MessagesState):
    return {"messages": [model.invoke(state["messages"])]}

builder = StateGraph(MessagesState)
builder.add_node("model", call_model)
builder.add_node("tools", ToolNode(tools))
builder.add_edge(START, "model")
builder.add_conditional_edges("model", tools_condition)
builder.add_edge("tools", "model")
graph = builder.compile(checkpointer=InMemorySaver())

config = {"configurable": {"thread_id": "demo-1"}}
result = graph.invoke({"messages": [{"role": "user", "content": "What's the weather in Riyadh?"}]}, config)
print(result["messages"][-1].content)
```

模型节点调用 BroadNet。当回复中包含工具调用时，`tools_condition` 把图引向工具节点，工具结果再回到模型。checkpointer 按 `thread_id` 保存对话，所以用同一个 config 再次 `invoke` 就会接着之前的对话继续。

## 从图中流式输出 token

```python
for chunk, meta in graph.stream(
    {"messages": [{"role": "user", "content": "And in Dubai?"}]},
    config,
    stream_mode="messages",
):
    if chunk.content and meta["langgraph_node"] == "model":
        print(chunk.content, end="", flush=True)
```

使用 `stream_mode="messages"` 时，`ChatOpenAI` 会向 BroadNet 发送 `stream: true`，LangGraph 把 token 原样传出。

## 预构建智能体

如果不需要自定义图，预构建的智能体循环可以直接使用同一个模型：

```python
from langchain.agents import create_agent  # pip install langchain

agent = create_agent(
    ChatOpenAI(model="broadnet/glm-5.3", base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"]),
    tools=tools,
)
agent.invoke({"messages": [{"role": "user", "content": "Weather in Riyadh?"}]})
```

`langgraph.prebuilt` 中的 `create_react_agent` 在 LangGraph 1.2.22 里仍然能运行，但会打印警告，提示它已迁移到 `langchain.agents.create_agent`。

## 选哪个模型

| 图 | 模型 |
| --- | --- |
| 带工具的智能体、结构化输出 | `broadnet/glm-5.3`（1,048,576 token 上下文） |
| 工具加图片输入或阿拉伯语文本 | `broadnet/qwen3.8-27b`（262,144 token 上下文） |
| 不调用工具的图、长文档 | `broadnet/deepseek-v4.1-flash` |

BroadNet 的文档只为 GLM 5.3 和 Qwen3.8 27B 列出了工具和结构化输出。DeepSeek V4.1 Flash 是[不限量套餐](https://broadrouter.com/zh/guides/unlimited-llm-api-sessions/)上的模型，适合不调用工具的“总结并路由”类图。在依赖它跑工具循环之前，先测试一下。[所有模型的价格](https://broadrouter.com/zh/pricing/)。

## 需要注意的设置

-   **保持使用 chat completions。** BroadNet 提供的是 `/v1/chat/completions`。LangChain 的文档说，当你使用 OpenAI 内置工具、对话状态或 `reasoning` 参数时，`ChatOpenAI` 会切换到 Responses API。不要用这些功能，也不要设置 `use_responses_api=True`。
-   **输出上限。** 在 DeepSeek V4.1 Flash、GLM 5.3 和 Qwen3.8 27B 上，思考内容计入输出预算。在模型上把 `max_tokens` 设为 2,000 或更高。在我们的测试中，langchain-openai 1.8 把它作为 `max_completion_tokens` 发送。
-   **并行分支。** 每个调用模型的分支都是一个独立请求。按量付费密钥同时最多允许 4 个进行中的请求，套餐会话一次只处理一个。

## 我们是怎么测试的

2026-11-15，我们在一个干净的虚拟环境中安装了 langgraph 1.2.22、langchain-openai 1.8.0 和 langchain 1.5.0，把上面的图、流式循环和 `create_agent` 指向一个本地 mock 服务器运行。该服务器模拟 BroadNet 的 chat completions 格式，并返回工具调用。我们检查了记录下来的请求：每次调用都发到了 `/v1/chat/completions`，模型 ID `broadnet/glm-5.3` 原样未变，带 Bearer 密钥和工具 schema，工具结果以 `tool` 消息返回。我们没有 BroadNet 密钥，因此没有测试真实的模型输出。

## 故障排查

-   **401。** 密钥错误、已过期，或者额度已用完。
-   **404。** `base_url` 必须以 `/v1` 结尾。检查模型 ID，包括 `broadnet/` 前缀。付费模型需要先充值；$5 初始额度只覆盖 `broadnet/gemma-4-26b-a4b` 和两个 Transcribe 模型。
-   **智能体从不调用工具。** 换成 `broadnet/glm-5.3` 或 `broadnet/qwen3.8-27b`。
-   **回答为空。** 输出预算被思考用光了。调高 `max_tokens`。[为什么回答会是空的](https://broadrouter.com/zh/guides/reasoning-tokens-empty-response/)。
-   **429。** 按量付费密钥每分钟允许 30 个请求。给 `ChatOpenAI` 加上 `max_retries`，并参见[错误码与重试](https://broadrouter.com/zh/guides/errors-and-retries/)。

## 本指南涉及的术语

[AI 智能体（AI agent）](https://broadrouter.com/zh/glossary/agent/)

AI 智能体是由语言模型自主决定步骤、朝目标推进的系统：它决定调用哪些工具、读取结果，然后重复，直到给出最终回答或触及上限。在固定位置调用模型的固定脚本，通常称为工作流（workflow）。

[Token（词元）](https://broadrouter.com/zh/glossary/token/)

token（词元）是大语言模型读写文本的基本单位：由模型的分词器切分出的一个词、词的一部分、一个标点或一段字节序列。大模型 API 按 token 计数、设定限制，通常也按 token 计费。

[按量付费（pay-as-you-go）](https://broadrouter.com/zh/glossary/pay-as-you-go/)

按量付费是一种计价模式：你只为实际用量付费，按 token、请求次数或音频分钟等单位计量，没有订阅费，也没有最低消费承诺。大多数大模型 API 都这样计费，从预付余额中扣减或定期开具账单。

[结构化输出（structured output）](https://broadrouter.com/zh/glossary/structured-output/)

结构化输出是大模型 API 的一项功能，它把模型的回复约束为开发者指定的格式（通常是 JSON Schema），让代码能可靠地解析。它比 JSON mode 更严格：JSON mode 只保证输出是合法 JSON，不保证特定结构。

[Base URL（base\_url）](https://broadrouter.com/zh/glossary/base-url/)

base URL 是 API 固定的根地址，例如 https://api.example.com/v1，客户端会把它加在每个端点路径（例如 /chat/completions）前面。在 OpenAI 兼容 SDK 中，修改 base URL，再配合 API 密钥和模型 ID，就能让同一份代码改用另一家服务商。

[Chat Completions API（对话补全接口）](https://broadrouter.com/zh/glossary/chat-completions-api/)

Chat Completions API 是 OpenAI 的 HTTP 端点 POST /v1/chat/completions，它接收模型名称和一组带角色标记的消息，返回模型的下一条消息。它的请求与响应结构已成为 OpenAI 兼容服务商和各类 SDK 通用的格式。

[并发（concurrency）](https://broadrouter.com/zh/glossary/concurrency/)

并发（concurrency）是客户端在同一时刻正在进行中的请求数。大模型 API 往往按密钥或套餐单独限制并发，与每分钟请求数分开计算，因为每个未完成的请求在响应结束前都会占用 GPU 资源。

[大模型包月套餐（flat-rate LLM plan）](https://broadrouter.com/zh/glossary/flat-rate-llm-plan/)

大模型包月套餐（固定价格套餐）是按一个周期（如一个月）收取固定费用、提供大模型 API 使用权的计价方式，不按 token 计费。这类套餐通常会限制别的东西，如并发、速度、模型或使用时间窗口，所以限制条件和价格同样重要。

## 常见问题

### LangGraph 需要专门的 BroadNet 集成吗？

不需要。LangGraph 运行的是你的节点所调用的对话模型。使用 LangChain 的 ChatOpenAI，把 base\_url 设为 https://inference.broadnet.ai/v1，每个调用模型的节点都会通过 chat completions 请求 BroadNet。

### 该用 create\_react\_agent 还是 create\_agent？

在 LangGraph 1.2 中，langgraph.prebuilt 的 create\_react\_agent 仍然可用，但会打印弃用警告，指向 langchain 包中的 create\_agent。两者在我们的 mock 服务器上配合 BroadNet 风格的模型 ID 都能正常工作。

### LangGraph 智能体该用哪个 BroadNet 模型？

GLM 5.3（broadnet/glm-5.3）或 Qwen3.8 27B（broadnet/qwen3.8-27b）。智能体循环依赖工具调用，而 BroadNet 只为这两个模型列出了工具。

### 为什么我设置的 max\_tokens 被当作 max\_completion\_tokens 发送？

langchain-openai 1.8 会在请求中把 max\_tokens 改名为 max\_completion\_tokens。BroadNet 的 API 参考文档描述的是 max\_tokens。如果输出上限似乎没有生效，请检查应用实际发出的请求。

## 相关指南

-   [在 LangChain 中调用 BroadNet Inference](https://broadrouter.com/zh/guides/langchain-openai-base-url/)
-   [在 BroadNet Inference 上运行 OpenAI Agents SDK](https://broadrouter.com/zh/guides/openai-agents-sdk-custom-provider/)
-   [推理模型为什么返回空回答](https://broadrouter.com/zh/guides/reasoning-tokens-empty-response/)
-   [BroadNet Inference 错误码，以及什么时候该重试](https://broadrouter.com/zh/guides/errors-and-retries/)
-   [所有可与 BroadNet Inference 配合使用的工具（英文）](https://broadrouter.com/integrations/)：SDK、编程智能体、聊天界面和自动化工具，并附每个工具的具体设置

用你的真实业务负载试一试。新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-guides-langgraph-openai-compatible&utm_content=page-cta) ·

**来源**

-   [LangGraph 文档：快速入门与 Graph API（核对于 2026-11-15）](https://docs.langchain.com/oss/python/langgraph/graph-api)
-   [LangChain 文档：ChatOpenAI 集成（核对于 2026-11-15）](https://docs.langchain.com/oss/python/integrations/chat/openai)
-   [PyPI：langgraph 1.2.22（核对于 2026-11-15）](https://pypi.org/project/langgraph/)
-   [BroadNet Inference API 参考文档（核对于 2026-11-15）（英文）](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-guides-langgraph-openai-compatible&utm_content=sources)
