BroadRouter
Начать

Агенты LangGraph на BroadNet Inference

Обновлено

Установите langgraph и langchain-openai и создайте ChatOpenAI: в model укажите ID модели BroadNet, например broadnet/glm-5.3, в base_url — https://inference.broadnet.ai/v1, в api_key — ключ BroadNet. Привяжите к модели инструменты и вызывайте её в узле StateGraph или передайте в create_agent из langchain. Берите GLM 5.3 или Qwen3.8 27B: для них BroadNet указывает инструменты.

LangGraph — библиотека LangChain для агентов с состоянием и несколькими шагами, построенных в виде графов. Своего клиента для моделей у неё нет: узлы вызывают чат-модель LangChain. Чтобы запустить граф на BroadNet Inference, передайте ему ChatOpenAI из langchain-openai с базовым URL BroadNet. BroadRouter — собственный сайт BroadNet; руководство основано на документации LangGraph и LangChain для LangGraph 1.2.22 и langchain-openai 1.8.

Установка

pip install langgraph langchain-openai
export BROADNET_API_KEY='your-broadnet-key'

Граф с вызовом инструментов

import os
from langchain_openai import ChatOpenAI
from langchain_core.tools import tool
from langgraph.graph import StateGraph, MessagesState, START
from langgraph.prebuilt import ToolNode, tools_condition
from langgraph.checkpoint.memory import InMemorySaver

@tool
def get_weather(city: str) -> str:
    """Get the weather for a city."""
    return f"21C and sunny in {city}"

tools = [get_weather]
model = ChatOpenAI(
    model="broadnet/glm-5.3",
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
).bind_tools(tools)

def call_model(state: MessagesState):
    return {"messages": [model.invoke(state["messages"])]}

builder = StateGraph(MessagesState)
builder.add_node("model", call_model)
builder.add_node("tools", ToolNode(tools))
builder.add_edge(START, "model")
builder.add_conditional_edges("model", tools_condition)
builder.add_edge("tools", "model")
graph = builder.compile(checkpointer=InMemorySaver())

config = {"configurable": {"thread_id": "demo-1"}}
result = graph.invoke({"messages": [{"role": "user", "content": "What's the weather in Riyadh?"}]}, config)
print(result["messages"][-1].content)

Узел модели вызывает BroadNet. Если в ответе есть вызовы инструментов, tools_condition направляет граф в узел инструментов, а результат инструмента возвращается модели. Checkpointer хранит диалог для каждого thread_id, поэтому второй invoke с тем же config продолжает его.

Стриминг токенов из графа

for chunk, meta in graph.stream(
    {"messages": [{"role": "user", "content": "And in Dubai?"}]},
    config,
    stream_mode="messages",
):
    if chunk.content and meta["langgraph_node"] == "model":
        print(chunk.content, end="", flush=True)

С stream_mode="messages" ChatOpenAI отправляет BroadNet stream: true, а LangGraph передаёт токены дальше.

Готовый агент

Если собственный граф не нужен, готовый цикл агента принимает ту же модель:

from langchain.agents import create_agent  # pip install langchain

agent = create_agent(
    ChatOpenAI(model="broadnet/glm-5.3", base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"]),
    tools=tools,
)
agent.invoke({"messages": [{"role": "user", "content": "Weather in Riyadh?"}]})

create_react_agent из langgraph.prebuilt в LangGraph 1.2.22 ещё работает, но выводит предупреждение, что он переехал в langchain.agents.create_agent.

Какую модель выбрать

Граф Модель
Агенты с инструментами, структурированный вывод broadnet/glm-5.3 (контекст 1 048 576 токенов)
Инструменты плюс изображения на входе или арабский текст broadnet/qwen3.8-27b (контекст 262 144 токена)
Графы без вызовов инструментов, длинные документы broadnet/deepseek-v4.1-flash

Документация BroadNet указывает инструменты и структурированный вывод только для GLM 5.3 и Qwen3.8 27B. DeepSeek V4.1 Flash — модель безлимитных тарифов, поэтому она подходит для графов, которые резюмируют и маршрутизируют без вызова инструментов. Прежде чем полагаться на неё в цикле с инструментами, проверьте его. Цены на все модели.

Важные настройки

  • Оставайтесь на chat completions. BroadNet обслуживает /v1/chat/completions. Документация LangChain говорит, что ChatOpenAI переходит на Responses API, если использовать встроенные инструменты OpenAI, состояние диалога или параметр reasoning. Не используйте их и не задавайте use_responses_api=True.
  • Лимит вывода. У DeepSeek V4.1 Flash, GLM 5.3 и Qwen3.8 27B рассуждения учитываются в бюджете вывода. Задайте модели max_tokens от 2 000. В нашем тесте langchain-openai 1.8 отправлял его как max_completion_tokens.
  • Параллельные ветви. Каждая ветвь, которая вызывает модель, — отдельный запрос. Ключ с оплатой по факту допускает не больше 4 запросов одновременно, а сессия тарифа обрабатывает один запрос за раз.

Как мы это проверяли

15 ноября 2026 г. мы установили langgraph 1.2.22, langchain-openai 1.8.0 и langchain 1.5.0 в чистое виртуальное окружение. Граф выше, цикл стриминга и create_agent мы запускали против локального mock-сервера, который отвечает в формате chat completions BroadNet и возвращает вызовы инструментов, а затем проверили журнал запросов. Все вызовы ушли на /v1/chat/completions с неизменённым ID модели broadnet/glm-5.3, Bearer-ключом и схемой инструмента, а результат инструмента вернулся сообщением tool. Ключа BroadNet у нас не было, поэтому реальные ответы модели мы не проверяли.

Решение проблем

  • 401. Ключ неверный, истёк или исчерпал лимит.
  • 404. base_url должен заканчиваться на /v1. Проверьте ID модели с префиксом broadnet/. Для платных моделей нужно пополнить баланс; стартовый грант $5 покрывает только broadnet/gemma-4-26b-a4b.
  • Агент не вызывает инструменты. Переключитесь на broadnet/glm-5.3 или broadnet/qwen3.8-27b.
  • Пустые ответы. Бюджет вывода ушёл на рассуждения. Увеличьте max_tokens. Почему ответы приходят пустыми.
  • 429. Ключ с оплатой по факту допускает 30 запросов в минуту. Добавьте max_retries в ChatOpenAI и см. ошибки и повторные запросы.

Вопросы и ответы

Нужна ли LangGraph отдельная интеграция с BroadNet?

Нет. LangGraph работает с той чат-моделью, которую вызывают ваши узлы. Используйте ChatOpenAI из LangChain с base_url https://inference.broadnet.ai/v1, и каждый узел, вызывающий модель, будет обращаться к BroadNet через chat completions.

Что использовать: create_react_agent или create_agent?

В LangGraph 1.2 create_react_agent из langgraph.prebuilt ещё работает, но выводит предупреждение об устаревании со ссылкой на create_agent из пакета langchain. С нашим mock-сервером и ID модели в стиле BroadNet работали оба варианта.

Какую модель BroadNet выбрать для агента на LangGraph?

GLM 5.3 (broadnet/glm-5.3) или Qwen3.8 27B (broadnet/qwen3.8-27b). Цикл агента держится на вызовах инструментов, а BroadNet указывает инструменты только для этих двух моделей.

Почему заданный max_tokens уходит как max_completion_tokens?

langchain-openai 1.8 переименовывает max_tokens в max_completion_tokens в запросе. Справочник API BroadNet описывает max_tokens. Если лимит вывода будто бы игнорируется, проверьте, какой запрос на самом деле отправляет приложение.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity