Library ng LangChain ang LangGraph para sa mga stateful at multi-step na agent na binubuo bilang graph. Wala itong sariling model client: tumatawag ang mga node mo sa isang LangChain chat model. Para patakbuhin ang isang graph sa BroadNet Inference, bigyan ito ng ChatOpenAI mula sa langchain-openai na may base URL ng BroadNet. Ang BroadRouter ay sariling site ng BroadNet; sinusundan nito ang LangGraph at LangChain docs sa LangGraph 1.2.22 at langchain-openai 1.8.
I-install
pip install langgraph langchain-openai
export BROADNET_API_KEY='your-broadnet-key'
Isang graph na tumatawag ng tools
import os
from langchain_openai import ChatOpenAI
from langchain_core.tools import tool
from langgraph.graph import StateGraph, MessagesState, START
from langgraph.prebuilt import ToolNode, tools_condition
from langgraph.checkpoint.memory import InMemorySaver
@tool
def get_weather(city: str) -> str:
"""Get the weather for a city."""
return f"21C and sunny in {city}"
tools = [get_weather]
model = ChatOpenAI(
model="broadnet/glm-5.3",
base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
).bind_tools(tools)
def call_model(state: MessagesState):
return {"messages": [model.invoke(state["messages"])]}
builder = StateGraph(MessagesState)
builder.add_node("model", call_model)
builder.add_node("tools", ToolNode(tools))
builder.add_edge(START, "model")
builder.add_conditional_edges("model", tools_condition)
builder.add_edge("tools", "model")
graph = builder.compile(checkpointer=InMemorySaver())
config = {"configurable": {"thread_id": "demo-1"}}
result = graph.invoke({"messages": [{"role": "user", "content": "What's the weather in Riyadh?"}]}, config)
print(result["messages"][-1].content)
Tumatawag sa BroadNet ang model node. Kapag may tool calls ang sagot, ipinapadala ng tools_condition ang graph sa tool node, at bumabalik sa model ang resulta ng tool. Iniingatan ng checkpointer ang usapan kada thread_id, kaya ang pangalawang invoke na may parehong config ay magpapatuloy dito.
I-stream ang mga token mula sa graph
for chunk, meta in graph.stream(
{"messages": [{"role": "user", "content": "And in Dubai?"}]},
config,
stream_mode="messages",
):
if chunk.content and meta["langgraph_node"] == "model":
print(chunk.content, end="", flush=True)
Sa stream_mode="messages", nagpapadala ang ChatOpenAI ng stream: true sa BroadNet at ipinapasa ng LangGraph ang mga token.
Ang prebuilt agent
Kung hindi mo kailangan ng custom na graph, tumatanggap din ng parehong model ang prebuilt agent loop:
from langchain.agents import create_agent # pip install langchain
agent = create_agent(
ChatOpenAI(model="broadnet/glm-5.3", base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"]),
tools=tools,
)
agent.invoke({"messages": [{"role": "user", "content": "Weather in Riyadh?"}]})
Tumatakbo pa rin ang create_react_agent mula sa langgraph.prebuilt sa LangGraph 1.2.22, pero nagpi-print ito ng warning na lumipat na ito sa langchain.agents.create_agent.
Aling model ang pipiliin
| Graph | Model |
|---|---|
| Mga agent na may tools, structured output | broadnet/glm-5.3 (1,048,576-token na context) |
| Tools kasama ang image input o Arabic na teksto | broadnet/qwen3.8-27b (262,144-token na context) |
| Mga graph na walang tool calls, mahahabang dokumento | broadnet/deepseek-v4.1-flash |
Sa GLM 5.3 at Qwen3.8 27B lang nakalista ang tools at structured output sa docs ng BroadNet. Ang DeepSeek V4.1 Flash ang model sa unlimited plans, kaya bagay ito sa mga summarise-and-route na graph na hindi tumatawag ng tools. Subukan muna ang tool loop dito bago ka umasa rito. Mga presyo ng bawat model.
Mga setting na mahalaga
- Manatili sa chat completions.
/v1/chat/completionsang sine-serve ng BroadNet. Ayon sa docs ng LangChain, lumilipat angChatOpenAIsa Responses API kapag gumamit ka ng built-in tools ng OpenAI, conversation state o ngreasoningparameter. Huwag gamitin ang mga iyon at huwag i-set anguse_responses_api=True. - Output limit. Sa DeepSeek V4.1 Flash, GLM 5.3 at Qwen3.8 27B, kasama ang reasoning sa output budget. I-set ang
max_tokenssa 2,000 o higit pa sa model. Sa test namin, ipinadala ito ng langchain-openai 1.8 bilangmax_completion_tokens. - Mga parallel branch. Hiwalay na request ang bawat branch na tumatawag sa model. Ang isang pay-as-you-go key ay may 4 na request nang sabay-sabay, at isa-isa lang tumatakbo ang request sa isang plan session.
Paano namin ito sinubok
Noong 2026-11-15, nag-install kami ng langgraph 1.2.22, langchain-openai 1.8.0 at langchain 1.5.0 sa isang malinis na virtual environment. Pinatakbo namin ang graph sa itaas, ang streaming loop at ang create_agent laban sa isang lokal na mock server na sumusunod sa chat-completions na format ng BroadNet at nagbabalik ng tool calls. Sinuri namin ang mga naka-log na request. Pumunta ang bawat tawag sa /v1/chat/completions nang hindi nagbago ang model ID na broadnet/glm-5.3, may Bearer key at ang tool schema, at bumalik ang resulta ng tool bilang tool message. Wala kaming BroadNet key, kaya hindi namin sinubok ang totoong output ng model.
Troubleshooting
- 401. Mali ang key, expired na, o ubos na ang allowance nito.
- 404. Dapat nagtatapos sa
/v1angbase_url. Suriin ang model ID, kasama angbroadnet/prefix. Kailangan ng top-up para sa mga bayad na model; angbroadnet/gemma-4-26b-a4bat ang dalawang Transcribe model lang ang sakop ng $5 na credit. - Hindi kailanman tumatawag ng tool ang agent. Lumipat sa
broadnet/glm-5.3obroadnet/qwen3.8-27b. - Walang lamang sagot. Naubos sa reasoning ang output budget. Taasan ang
max_tokens. Bakit walang laman ang mga sagot. - 429. Ang isang pay-as-you-go key ay may 30 request kada minuto. Magdagdag ng
max_retriessaChatOpenAIat tingnan ang errors and retries.
