BroadRouter
Comenzar

Agentes de LangGraph con BroadNet Inference

Actualizado

Instale langgraph y langchain-openai y cree ChatOpenAI con model en un ID de BroadNet como broadnet/glm-5.3, base_url en https://inference.broadnet.ai/v1 y api_key con su clave de BroadNet. Vincule sus herramientas y úselo en un nodo de un StateGraph, o páselo a create_agent de langchain. Use GLM 5.3 o Qwen3.8 27B, los modelos para los que BroadNet indica herramientas.

LangGraph es la biblioteca de LangChain para agentes con estado y de varios pasos, construidos como grafos. No tiene un cliente de modelos propio: sus nodos llaman a un modelo de chat de LangChain. Para ejecutar un grafo en BroadNet Inference, use ChatOpenAI de langchain-openai con la URL base de BroadNet. BroadRouter es el sitio de BroadNet; esta guía sigue la documentación de LangGraph y LangChain a la fecha de LangGraph 1.2.22 y langchain-openai 1.8.

Instalación

pip install langgraph langchain-openai
export BROADNET_API_KEY='your-broadnet-key'

Un grafo que llama a herramientas

import os
from langchain_openai import ChatOpenAI
from langchain_core.tools import tool
from langgraph.graph import StateGraph, MessagesState, START
from langgraph.prebuilt import ToolNode, tools_condition
from langgraph.checkpoint.memory import InMemorySaver

@tool
def get_weather(city: str) -> str:
    """Get the weather for a city."""
    return f"21C and sunny in {city}"

tools = [get_weather]
model = ChatOpenAI(
    model="broadnet/glm-5.3",
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
).bind_tools(tools)

def call_model(state: MessagesState):
    return {"messages": [model.invoke(state["messages"])]}

builder = StateGraph(MessagesState)
builder.add_node("model", call_model)
builder.add_node("tools", ToolNode(tools))
builder.add_edge(START, "model")
builder.add_conditional_edges("model", tools_condition)
builder.add_edge("tools", "model")
graph = builder.compile(checkpointer=InMemorySaver())

config = {"configurable": {"thread_id": "demo-1"}}
result = graph.invoke({"messages": [{"role": "user", "content": "What's the weather in Riyadh?"}]}, config)
print(result["messages"][-1].content)

El nodo del modelo llama a BroadNet. tools_condition envía el grafo al nodo de herramientas cuando la respuesta trae llamadas a herramientas, y el resultado de la herramienta vuelve al modelo. El checkpointer guarda la conversación por thread_id, así que un segundo invoke con la misma configuración la continúa.

Streaming de tokens desde el grafo

for chunk, meta in graph.stream(
    {"messages": [{"role": "user", "content": "And in Dubai?"}]},
    config,
    stream_mode="messages",
):
    if chunk.content and meta["langgraph_node"] == "model":
        print(chunk.content, end="", flush=True)

Con stream_mode="messages", ChatOpenAI envía stream: true a BroadNet y LangGraph va pasando los tokens.

El agente prediseñado

Si no necesita un grafo personalizado, el bucle de agente prediseñado acepta el mismo modelo:

from langchain.agents import create_agent  # pip install langchain

agent = create_agent(
    ChatOpenAI(model="broadnet/glm-5.3", base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"]),
    tools=tools,
)
agent.invoke({"messages": [{"role": "user", "content": "Weather in Riyadh?"}]})

create_react_agent de langgraph.prebuilt sigue ejecutándose en LangGraph 1.2.22, pero muestra una advertencia de que se trasladó a langchain.agents.create_agent.

Qué modelo elegir

Grafo Modelo
Agentes con herramientas, salida estructurada broadnet/glm-5.3 (contexto de 1,048,576 tokens)
Herramientas con entrada de imágenes o texto en árabe broadnet/qwen3.8-27b (contexto de 262,144 tokens)
Grafos sin llamadas a herramientas, documentos largos broadnet/deepseek-v4.1-flash

La documentación de BroadNet indica herramientas y salida estructurada solo para GLM 5.3 y Qwen3.8 27B. DeepSeek V4.1 Flash es el modelo de los planes ilimitados, por lo que encaja en grafos que resumen y enrutan sin llamar a herramientas. Pruebe un bucle de herramientas con él antes de depender de él. Precios de todos los modelos.

Configuración que importa

  • Quédese en chat completions. BroadNet sirve /v1/chat/completions. La documentación de LangChain dice que ChatOpenAI pasa a la Responses API cuando usa herramientas integradas de OpenAI, estado de conversación o el parámetro reasoning. No los use y no configure use_responses_api=True.
  • Límite de salida. El razonamiento cuenta para el presupuesto de salida en DeepSeek V4.1 Flash, GLM 5.3 y Qwen3.8 27B. Configure max_tokens en 2,000 o más en el modelo. En nuestra prueba, langchain-openai 1.8 lo envió como max_completion_tokens.
  • Ramas en paralelo. Cada rama que llama al modelo es una solicitud aparte. Una clave de pago por uso permite 4 solicitudes a la vez, y una sesión de plan ejecuta una por vez.

Cómo lo probamos

El 2026-11-15 instalamos langgraph 1.2.22, langchain-openai 1.8.0 y langchain 1.5.0 en un entorno virtual limpio. Ejecutamos el grafo de arriba, el bucle de streaming y create_agent contra un servidor simulado (mock) local que habla el formato de chat completions de BroadNet y devuelve llamadas a herramientas. Revisamos las solicitudes registradas. Todas fueron a /v1/chat/completions con el ID de modelo broadnet/glm-5.3 sin cambios, una clave Bearer y el esquema de la herramienta, y el resultado de la herramienta volvió como un mensaje tool. No teníamos una clave de BroadNet, así que no probamos la salida real de un modelo.

Solución de problemas

  • 401. La clave es incorrecta, venció o se quedó sin saldo.
  • 404. base_url debe terminar en /v1. Verifique el ID del modelo, con el prefijo broadnet/. Los modelos de pago requieren una recarga; el crédito inicial de $5 cubre solo broadnet/gemma-4-26b-a4b y los dos modelos Transcribe.
  • El agente nunca llama a una herramienta. Cambie a broadnet/glm-5.3 o broadnet/qwen3.8-27b.
  • Respuestas vacías. El presupuesto de salida se fue en razonamiento. Aumente max_tokens. Por qué las respuestas llegan vacías.
  • 429. Una clave de pago por uso permite 30 solicitudes por minuto. Agregue max_retries a ChatOpenAI y consulte errores y reintentos.

Preguntas frecuentes

¿LangGraph necesita una integración propia con BroadNet?

No. LangGraph ejecuta cualquier modelo de chat que llamen sus nodos. Use el ChatOpenAI de LangChain con base_url en https://inference.broadnet.ai/v1, y cada nodo que llama al modelo irá a BroadNet por chat completions.

¿Uso create_react_agent o create_agent?

En LangGraph 1.2, create_react_agent de langgraph.prebuilt sigue funcionando, pero muestra una advertencia de obsolescencia que remite a create_agent del paquete langchain. Ambos funcionaron contra nuestro servidor simulado con un ID de modelo al estilo de BroadNet.

¿Qué modelo de BroadNet conviene para un agente de LangGraph?

GLM 5.3 (broadnet/glm-5.3) o Qwen3.8 27B (broadnet/qwen3.8-27b). Un bucle de agente depende de las llamadas a herramientas, y BroadNet indica herramientas solo para estos dos modelos.

¿Por qué el max_tokens que configuré se envía como max_completion_tokens?

langchain-openai 1.8 renombra max_tokens a max_completion_tokens en la solicitud. La referencia de la API de BroadNet describe max_tokens. Si parece que se ignora un límite de salida, revise la solicitud que su aplicación envía realmente.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity