BroadRouter

BroadNet Inference पर LangGraph एजेंट बनाएँ

अपडेट किया गया

langgraph और langchain-openai इंस्टॉल करें, फिर ChatOpenAI बनाएँ: model में broadnet/glm-5.3 जैसा BroadNet ID, base_url में https://inference.broadnet.ai/v1 और api_key में अपनी BroadNet key। इसके साथ अपने टूल bind करें और इसे किसी StateGraph नोड में इस्तेमाल करें, या langchain के create_agent को दें। GLM 5.3 या Qwen3.8 27B चुनें, जिनके लिए BroadNet टूल सूचीबद्ध करता है।

LangGraph, LangChain की लाइब्रेरी है, जिससे स्टेटफ़ुल और कई स्टेप वाले एजेंट ग्राफ़ के रूप में बनते हैं। इसका अपना कोई मॉडल क्लाइंट नहीं है: आपके नोड LangChain का कोई चैट मॉडल कॉल करते हैं। ग्राफ़ को BroadNet Inference पर चलाने के लिए उसे langchain-openai का ChatOpenAI BroadNet के base URL के साथ दें। BroadRouter, BroadNet की अपनी साइट है; यह गाइड LangGraph 1.2.22 और langchain-openai 1.8 के समय के LangGraph और LangChain डॉक्स के अनुसार है।

इंस्टॉल करें

pip install langgraph langchain-openai
export BROADNET_API_KEY='your-broadnet-key'

टूल कॉल करने वाला ग्राफ़

import os
from langchain_openai import ChatOpenAI
from langchain_core.tools import tool
from langgraph.graph import StateGraph, MessagesState, START
from langgraph.prebuilt import ToolNode, tools_condition
from langgraph.checkpoint.memory import InMemorySaver

@tool
def get_weather(city: str) -> str:
    """Get the weather for a city."""
    return f"21C and sunny in {city}"

tools = [get_weather]
model = ChatOpenAI(
    model="broadnet/glm-5.3",
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
).bind_tools(tools)

def call_model(state: MessagesState):
    return {"messages": [model.invoke(state["messages"])]}

builder = StateGraph(MessagesState)
builder.add_node("model", call_model)
builder.add_node("tools", ToolNode(tools))
builder.add_edge(START, "model")
builder.add_conditional_edges("model", tools_condition)
builder.add_edge("tools", "model")
graph = builder.compile(checkpointer=InMemorySaver())

config = {"configurable": {"thread_id": "demo-1"}}
result = graph.invoke({"messages": [{"role": "user", "content": "What's the weather in Riyadh?"}]}, config)
print(result["messages"][-1].content)

मॉडल नोड BroadNet को कॉल करता है। जब जवाब में टूल कॉल हों, तो tools_condition ग्राफ़ को टूल नोड पर भेजता है, और टूल का नतीजा वापस मॉडल के पास जाता है। checkpointer हर thread_id की बातचीत सँभालकर रखता है, इसलिए उसी config के साथ दूसरा invoke बातचीत को आगे बढ़ाता है।

ग्राफ़ से टोकन स्ट्रीम करें

for chunk, meta in graph.stream(
    {"messages": [{"role": "user", "content": "And in Dubai?"}]},
    config,
    stream_mode="messages",
):
    if chunk.content and meta["langgraph_node"] == "model":
        print(chunk.content, end="", flush=True)

stream_mode="messages" के साथ ChatOpenAI, BroadNet को stream: true भेजता है और LangGraph टोकन सीधे आगे बढ़ा देता है।

पहले से बना (prebuilt) एजेंट

अगर आपको कस्टम ग्राफ़ नहीं चाहिए, तो prebuilt एजेंट लूप भी यही मॉडल लेता है:

from langchain.agents import create_agent  # pip install langchain

agent = create_agent(
    ChatOpenAI(model="broadnet/glm-5.3", base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"]),
    tools=tools,
)
agent.invoke({"messages": [{"role": "user", "content": "Weather in Riyadh?"}]})

langgraph.prebuilt का create_react_agent LangGraph 1.2.22 में अब भी चलता है, लेकिन चेतावनी दिखाता है कि वह langchain.agents.create_agent में चला गया है।

कौन-सा मॉडल चुनें

ग्राफ़ मॉडल
टूल वाले एजेंट, स्ट्रक्चर्ड आउटपुट broadnet/glm-5.3 (1,048,576 टोकन का कॉन्टेक्स्ट)
टूल के साथ इमेज इनपुट या अरबी टेक्स्ट broadnet/qwen3.8-27b (262,144 टोकन का कॉन्टेक्स्ट)
बिना टूल कॉल वाले ग्राफ़, लंबे दस्तावेज़ broadnet/deepseek-v4.1-flash

BroadNet के डॉक्स टूल और स्ट्रक्चर्ड आउटपुट सिर्फ़ GLM 5.3 और Qwen3.8 27B के लिए सूचीबद्ध करते हैं। DeepSeek V4.1 Flash अनलिमिटेड प्लान वाला मॉडल है, इसलिए यह उन summarise-and-route ग्राफ़ के लिए ठीक है जो टूल कॉल नहीं करते। इस पर भरोसा करने से पहले इस पर टूल लूप टेस्ट कर लें। हर मॉडल की कीमतें।

ज़रूरी सेटिंग

  • chat completions पर ही रहें। BroadNet /v1/chat/completions देता है। LangChain के डॉक्स कहते हैं कि जब आप OpenAI के बिल्ट-इन टूल, conversation state या reasoning पैरामीटर इस्तेमाल करते हैं, तो ChatOpenAI Responses API पर चला जाता है। इन्हें छोड़ दें और use_responses_api=True सेट न करें।
  • आउटपुट सीमा. DeepSeek V4.1 Flash, GLM 5.3 और Qwen3.8 27B पर रीज़निंग आउटपुट बजट में गिनी जाती है। मॉडल पर max_tokens को 2,000 या उससे ज़्यादा रखें। हमारे टेस्ट में langchain-openai 1.8 ने इसे max_completion_tokens के रूप में भेजा।
  • पैरलल ब्रांच. मॉडल को कॉल करने वाली हर ब्रांच एक अलग अनुरोध है। उपयोग के अनुसार भुगतान वाली key एक साथ 4 चालू अनुरोध की अनुमति देती है, और प्लान सेशन एक बार में एक अनुरोध चलाता है।

हमने इसे कैसे टेस्ट किया

2026-11-15 को हमने एक साफ़ वर्चुअल एनवायरनमेंट में langgraph 1.2.22, langchain-openai 1.8.0 और langchain 1.5.0 इंस्टॉल किए। हमने ऊपर का ग्राफ़, स्ट्रीमिंग लूप और create_agent एक लोकल मॉक सर्वर के सामने चलाए, जो BroadNet के chat-completions ढाँचे में जवाब देता है और टूल कॉल लौटाता है। हमने लॉग हुए अनुरोध जाँचे। हर कॉल /v1/chat/completions पर गई, मॉडल ID broadnet/glm-5.3 बिना बदलाव के, Bearer key और टूल स्कीमा के साथ, और टूल का नतीजा tool मैसेज के रूप में वापस आया। हमारे पास BroadNet key नहीं थी, इसलिए हमने असली मॉडल आउटपुट टेस्ट नहीं किया।

समस्या का समाधान

  • 401. key ग़लत है, एक्सपायर हो गई है, या उसका अलाउंस ख़त्म हो गया है।
  • 404. base_url के अंत में /v1 होना चाहिए। मॉडल ID broadnet/ प्रीफ़िक्स के साथ जाँचें। पेड मॉडल के लिए टॉप-अप चाहिए; $5 क्रेडिट पर सिर्फ़ broadnet/gemma-4-26b-a4b और दो Transcribe मॉडल चलते हैं।
  • एजेंट कभी टूल कॉल नहीं करता. broadnet/glm-5.3 या broadnet/qwen3.8-27b पर स्विच करें।
  • ख़ाली जवाब. आउटपुट बजट रीज़निंग में ख़र्च हो गया। max_tokens बढ़ाएँ। जवाब ख़ाली क्यों आते हैं।
  • 429. उपयोग के अनुसार भुगतान वाली key प्रति मिनट 30 अनुरोध की अनुमति देती है। ChatOpenAI में max_retries जोड़ें और एरर और रीट्राई देखें।

अक्सर पूछे जाने वाले सवाल

क्या LangGraph को BroadNet के लिए अलग इंटीग्रेशन चाहिए?

नहीं। LangGraph वही चैट मॉडल चलाता है जिसे आपके नोड कॉल करते हैं। LangChain का ChatOpenAI इस्तेमाल करें और base_url को https://inference.broadnet.ai/v1 पर सेट करें; फिर मॉडल को कॉल करने वाला हर नोड chat completions से BroadNet पर जाता है।

create_react_agent इस्तेमाल करूँ या create_agent?

LangGraph 1.2 में langgraph.prebuilt का create_react_agent अब भी चलता है, लेकिन एक deprecation चेतावनी दिखाता है जो langchain पैकेज के create_agent की ओर इशारा करती है। हमारे मॉक सर्वर पर BroadNet जैसे मॉडल ID के साथ दोनों चले।

LangGraph एजेंट के लिए BroadNet का कौन-सा मॉडल सही है?

GLM 5.3 (broadnet/glm-5.3) या Qwen3.8 27B (broadnet/qwen3.8-27b)। एजेंट लूप टूल कॉल पर निर्भर करता है, और BroadNet सिर्फ़ इन्हीं दो मॉडल के लिए टूल सूचीबद्ध करता है।

मेरा सेट किया max_tokens, max_completion_tokens के रूप में क्यों जाता है?

langchain-openai 1.8 अनुरोध में max_tokens का नाम बदलकर max_completion_tokens कर देता है। BroadNet का API रेफ़रंस max_tokens बताता है। अगर आउटपुट सीमा का असर न दिखे, तो देखें कि आपका ऐप असल में कौन-सा अनुरोध भेजता है।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें