BroadRouter
Loslegen

LangGraph-Agenten auf BroadNet Inference bauen

Aktualisiert

Installieren Sie langgraph und langchain-openai und erstellen Sie ChatOpenAI mit model auf einer BroadNet-ID wie broadnet/glm-5.3, base_url auf https://inference.broadnet.ai/v1 und api_key mit Ihrem BroadNet-Schlüssel. Binden Sie Ihre Tools daran und nutzen Sie das Modell in einem StateGraph-Node oder übergeben Sie es an create_agent aus langchain. Nehmen Sie GLM 5.3 oder Qwen3.8 27B, die Modelle, für die BroadNet Tools nennt.

LangGraph ist LangChains Bibliothek für zustandsbehaftete, mehrstufige Agenten, die als Graphen aufgebaut sind. Einen eigenen Modell-Client hat es nicht: Ihre Nodes rufen ein Chat-Modell von LangChain auf. Um einen Graphen auf BroadNet Inference laufen zu lassen, geben Sie ihm ChatOpenAI aus langchain-openai mit der Basis-URL von BroadNet. BroadRouter ist die Website von BroadNet selbst; die Anleitung folgt der Dokumentation von LangGraph und LangChain zum Stand von LangGraph 1.2.22 und langchain-openai 1.8.

Installation

pip install langgraph langchain-openai
export BROADNET_API_KEY='your-broadnet-key'

Ein Graph mit Tool-Calls

import os
from langchain_openai import ChatOpenAI
from langchain_core.tools import tool
from langgraph.graph import StateGraph, MessagesState, START
from langgraph.prebuilt import ToolNode, tools_condition
from langgraph.checkpoint.memory import InMemorySaver

@tool
def get_weather(city: str) -> str:
    """Get the weather for a city."""
    return f"21C and sunny in {city}"

tools = [get_weather]
model = ChatOpenAI(
    model="broadnet/glm-5.3",
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
).bind_tools(tools)

def call_model(state: MessagesState):
    return {"messages": [model.invoke(state["messages"])]}

builder = StateGraph(MessagesState)
builder.add_node("model", call_model)
builder.add_node("tools", ToolNode(tools))
builder.add_edge(START, "model")
builder.add_conditional_edges("model", tools_condition)
builder.add_edge("tools", "model")
graph = builder.compile(checkpointer=InMemorySaver())

config = {"configurable": {"thread_id": "demo-1"}}
result = graph.invoke({"messages": [{"role": "user", "content": "What's the weather in Riyadh?"}]}, config)
print(result["messages"][-1].content)

Der Model-Node ruft BroadNet auf. tools_condition leitet den Graphen zum Tool-Node, wenn die Antwort Tool-Calls enthält, und das Tool-Ergebnis geht zurück ans Modell. Der Checkpointer speichert die Unterhaltung pro thread_id; ein zweites invoke mit derselben Config setzt sie also fort.

Tokens aus dem Graphen streamen

for chunk, meta in graph.stream(
    {"messages": [{"role": "user", "content": "And in Dubai?"}]},
    config,
    stream_mode="messages",
):
    if chunk.content and meta["langgraph_node"] == "model":
        print(chunk.content, end="", flush=True)

Mit stream_mode="messages" sendet ChatOpenAI stream: true an BroadNet, und LangGraph reicht die Tokens durch.

Der vorgefertigte Agent

Brauchen Sie keinen eigenen Graphen, nimmt die vorgefertigte Agent-Schleife dasselbe Modell:

from langchain.agents import create_agent  # pip install langchain

agent = create_agent(
    ChatOpenAI(model="broadnet/glm-5.3", base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"]),
    tools=tools,
)
agent.invoke({"messages": [{"role": "user", "content": "Weather in Riyadh?"}]})

create_react_agent aus langgraph.prebuilt läuft in LangGraph 1.2.22 noch, gibt aber eine Warnung aus, dass es nach langchain.agents.create_agent umgezogen ist.

Welches Modell passt?

Graph Modell
Agenten mit Tools, strukturierte Ausgabe broadnet/glm-5.3 (Kontext von 1.048.576 Token)
Tools plus Bildeingabe oder arabischer Text broadnet/qwen3.8-27b (Kontext von 262.144 Token)
Graphen ohne Tool-Calls, lange Dokumente broadnet/deepseek-v4.1-flash

Die BroadNet-Dokumentation nennt Tools und strukturierte Ausgabe nur für GLM 5.3 und Qwen3.8 27B. DeepSeek V4.1 Flash ist das Modell der unbegrenzten Pläne und eignet sich daher für Graphen, die zusammenfassen und weiterleiten, ohne Tools aufzurufen. Testen Sie eine Tool-Schleife darauf, bevor Sie sich darauf verlassen. Preise aller Modelle.

Wichtige Einstellungen

  • Bei Chat Completions bleiben. BroadNet stellt /v1/chat/completions bereit. Laut LangChain-Dokumentation wechselt ChatOpenAI zur Responses API, wenn Sie die eingebauten Tools von OpenAI, Conversation State oder den Parameter reasoning nutzen. Lassen Sie diese weg und setzen Sie nicht use_responses_api=True.
  • Ausgabelimit. Bei DeepSeek V4.1 Flash, GLM 5.3 und Qwen3.8 27B zählt das Reasoning zum Ausgabebudget. Setzen Sie max_tokens am Modell auf 2.000 oder mehr. In unserem Test hat langchain-openai 1.8 den Wert als max_completion_tokens gesendet.
  • Parallele Zweige. Jeder Zweig, der das Modell aufruft, ist eine eigene Anfrage. Ein Pay-as-you-go-Schlüssel erlaubt 4 gleichzeitig laufende Anfragen, und eine Plan-Session verarbeitet eine nach der anderen.

So haben wir das getestet

Am 15. November 2026 haben wir langgraph 1.2.22, langchain-openai 1.8.0 und langchain 1.5.0 in einer frischen virtuellen Umgebung installiert. Den Graphen oben, die Streaming-Schleife und create_agent haben wir gegen einen lokalen Mock-Server laufen lassen, der das Chat-Completions-Format von BroadNet spricht und Tool-Calls zurückgibt. Die protokollierten Anfragen haben wir geprüft: Jeder Aufruf ging an /v1/chat/completions, mit unveränderter Modell-ID broadnet/glm-5.3, einem Bearer-Schlüssel und dem Tool-Schema, und das Tool-Ergebnis kam als tool-Nachricht zurück. Wir hatten keinen BroadNet-Schlüssel und haben daher keine echte Modellausgabe getestet.

Fehlerbehebung

  • 401. Der Schlüssel ist falsch, abgelaufen oder sein Kontingent aufgebraucht.
  • 404. base_url muss auf /v1 enden. Prüfen Sie die Modell-ID mit dem Präfix broadnet/. Kostenpflichtige Modelle brauchen eine Aufladung; das Guthaben von $5 deckt nur broadnet/gemma-4-26b-a4b und die beiden Transcribe-Modelle ab.
  • Der Agent ruft nie ein Tool auf. Wechseln Sie zu broadnet/glm-5.3 oder broadnet/qwen3.8-27b.
  • Leere Antworten. Das Ausgabebudget ging fürs Reasoning drauf. Erhöhen Sie max_tokens. Warum Antworten leer zurückkommen.
  • 429. Ein Pay-as-you-go-Schlüssel erlaubt 30 Anfragen pro Minute. Ergänzen Sie max_retries an ChatOpenAI und lesen Sie Fehlercodes und Retries.

Häufige Fragen

Braucht LangGraph eine eigene BroadNet-Integration?

Nein. LangGraph führt das Chat-Modell aus, das Ihre Nodes aufrufen. Nutzen Sie ChatOpenAI aus LangChain mit base_url https://inference.broadnet.ai/v1, dann geht jeder Node, der das Modell aufruft, per Chat Completions an BroadNet.

Soll ich create_react_agent oder create_agent nehmen?

In LangGraph 1.2 funktioniert create_react_agent aus langgraph.prebuilt noch, gibt aber eine Deprecation-Warnung aus, die auf create_agent im Paket langchain verweist. Beide liefen gegen unseren Mock-Server mit einer Modell-ID im BroadNet-Format.

Welches BroadNet-Modell sollte ein LangGraph-Agent nutzen?

GLM 5.3 (broadnet/glm-5.3) oder Qwen3.8 27B (broadnet/qwen3.8-27b). Eine Agent-Schleife hängt von Tool-Calls ab, und BroadNet nennt Tools nur für diese beiden Modelle.

Warum wird mein max_tokens als max_completion_tokens gesendet?

langchain-openai 1.8 benennt max_tokens in der Anfrage in max_completion_tokens um. Die API-Referenz von BroadNet beschreibt max_tokens. Scheint ein Ausgabelimit ignoriert zu werden, prüfen Sie die Anfrage, die Ihre App tatsächlich sendet.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen