BroadRouter

OpenAIModel के साथ smolagents को BroadNet Inference पर चलाएँ

अपडेट किया गया

smolagents का OpenAIModel बनाएँ, model_id को broadnet/glm-5.3 जैसे BroadNet ID, api_base को https://inference.broadnet.ai/v1 और api_key को अपनी BroadNet key पर रखकर, फिर उसे CodeAgent या ToolCallingAgent को दें। CodeAgent नेटिव टूल कॉल के बजाय Python लिखता है, इसलिए यह DeepSeek V4.1 Flash पर चल सकता है। ToolCallingAgent को GLM 5.3 या Qwen3.8 27B चाहिए।

smolagents, एजेंट के लिए Hugging Face की छोटी Python लाइब्रेरी है। इसकी OpenAIModel क्लास “connects to an OpenAI-compatible API server” (अनुवाद: OpenAI-कम्पैटिबल API सर्वर से जुड़ती है), URL के लिए api_base के साथ। BroadNet Inference https://inference.broadnet.ai/v1 पर chat completions देता है, इसलिए यह सीधे काम करता है। BroadRouter, BroadNet की अपनी साइट है; यह गाइड smolagents 1.26.0 के डॉक्स पर आधारित है।

इंस्टॉल करें

pip install smolagents
export BROADNET_API_KEY='your-broadnet-key'

CodeAgent

import os
from smolagents import OpenAIModel, CodeAgent

model = OpenAIModel(
    model_id="broadnet/deepseek-v4.1-flash",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,
)

agent = CodeAgent(tools=[], model=model)
print(agent.run("What is 6 * 7? Use Python to check."))

CodeAgent मॉडल से <code> टैग के बीच Python लिखने को कहता है और उसे लोकल मशीन पर चलाता है। अनुरोध एक सादा chat completion है, </code> जैसे stop sequence के साथ और बिना tools फ़ील्ड के। यानी यह नेटिव टूल कॉलिंग पर निर्भर नहीं, इसलिए यह broadnet/deepseek-v4.1-flash पर चल सकता है, जो BroadNet के अनलिमिटेड प्लान वाला मॉडल है। कोड की क्वालिटी फिर भी मॉडल के हिसाब से बदलती है, इसलिए अपने काम पर टेस्ट करें।

CodeAgent वह कोड चलाता है जो मॉडल लिखता है। फ़ाइल, नेटवर्क या क्रेडेंशियल छूने वाले टूल देने से पहले smolagents की सुरक्षित कोड एक्ज़ीक्यूशन वाली गाइडेंस पढ़ें।

ToolCallingAgent

from smolagents import ToolCallingAgent, tool

@tool
def get_weather(city: str) -> str:
    """Get the weather for a city.

    Args:
        city: The city name.
    """
    return f"21C in {city}"

model = OpenAIModel(
    model_id="broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,
)
agent = ToolCallingAgent(tools=[get_weather], model=model)
print(agent.run("What's the weather in Riyadh?"))

ToolCallingAgent आपके टूल, और साथ में अपना final_answer टूल, tool_choice: "required" के साथ फ़ंक्शन स्कीमा के रूप में भेजता है। broadnet/glm-5.3 या broadnet/qwen3.8-27b इस्तेमाल करें; BroadNet के डॉक्स सिर्फ़ इन दो मॉडल के लिए टूल सूचीबद्ध करते हैं।

कौन-सा मॉडल चुनें

एजेंट मॉडल
CodeAgent, फ़्लैट-प्राइस प्लान पर लंबे रन broadnet/deepseek-v4.1-flash
ToolCallingAgent broadnet/glm-5.3
इमेज इनपुट के साथ कोई भी एजेंट broadnet/qwen3.8-27b

एक प्लान सेशन एक समय में एक अनुरोध चलाता है, और एजेंट अपने स्टेप एक के बाद एक भेजता है, इसलिए एक सेशन एक एजेंट के लिए ठीक है। हर मॉडल की कीमतें।

हमने इसे कैसे टेस्ट किया

2026-11-15 को हमने एक साफ़ वर्चुअल एनवायरनमेंट में smolagents 1.26.0 इंस्टॉल किया और दोनों एजेंट एक लोकल मॉक सर्वर पर चलाए, जो BroadNet के chat-completions ढाँचे में जवाब देता है। DeepSeek ID पर CodeAgent को कोड वाला जवाब मिला, उसने उसे चलाया और 42 लौटाया। इसके अनुरोधों में max_tokens: 4000, stop sequence थे और कोई टूल नहीं था। ToolCallingAgent के लिए हमने अनुरोध का ढाँचा जाँचा: मॉडल ID बिना बदलाव के भेजा गया, दोनों टूल स्कीमा और tool_choice: "required" के साथ। smolagents टूल के नतीजे user मैसेज के रूप में वापस भेजता है। हमारा मॉक उस फ़ॉर्मैट को फ़ॉलो नहीं करता था, इसलिए हमने उस एजेंट को अंतिम जवाब तक नहीं चलाया। हमारे पास BroadNet key नहीं थी, इसलिए हमने असली मॉडल आउटपुट टेस्ट नहीं किया।

समस्या का समाधान

  • 401. key ग़लत है, एक्सपायर हो गई है या अलाउंस ख़त्म हो गया है।
  • 404. api_base /v1 पर ख़त्म होना चाहिए। मॉडल ID जाँचें। पेड मॉडल के लिए टॉप-अप चाहिए; $5 क्रेडिट सिर्फ़ broadnet/gemma-4-26b-a4b और दो Transcribe मॉडल को कवर करता है।
  • “Make sure to provide correct code blobs”. मॉडल के जवाब में कोई कोड ब्लॉक नहीं था। max_tokens बढ़ाएँ, क्योंकि रीज़निंग उसमें गिनी जाती है, या कोई दूसरा मॉडल आज़माएँ। जवाब ख़ाली क्यों आते हैं।
  • ToolCallingAgent कभी ख़त्म नहीं होता। broadnet/glm-5.3 या broadnet/qwen3.8-27b पर जाएँ।
  • 429. उपयोग के अनुसार भुगतान वाली key प्रति मिनट 30 अनुरोध की अनुमति देती है। smolagents requests_per_minute से ख़ुद की रफ़्तार सीमित कर सकता है। एरर और रीट्राई देखें।

अक्सर पूछे जाने वाले सवाल

OpenAIModel इस्तेमाल करें या OpenAIServerModel?

smolagents 1.26 किसी भी OpenAI-कम्पैटिबल सर्वर के लिए OpenAIModel डॉक्यूमेंट करता है। पैकेज अब भी OpenAIServerModel एक्सपोर्ट करता है, पर डॉक्स OpenAIModel बताते हैं।

क्या smolagents BroadNet के अनलिमिटेड प्लान पर चल सकता है?

प्लान DeepSeek V4.1 Flash को कवर करते हैं। BroadNet इसके लिए टूल कॉलिंग सूचीबद्ध नहीं करता, पर CodeAgent को नेटिव टूल कॉल की ज़रूरत नहीं; यह मॉडल से Python कोड माँगता है। हमारे मॉक टेस्ट में DeepSeek ID पर चल रहे CodeAgent ने बिना tools फ़ील्ड के सादे चैट अनुरोध भेजे।

ToolCallingAgent को GLM 5.3 या Qwen3.8 27B क्यों चाहिए?

यह टूल को OpenAI फ़ंक्शन स्कीमा के रूप में भेजता है, tool_choice को required पर रखकर। BroadNet के डॉक्स सिर्फ़ GLM 5.3 और Qwen3.8 27B के लिए टूल सूचीबद्ध करते हैं।

max_tokens या temperature कैसे पास करें?

OpenAIModel को कीवर्ड आर्ग्युमेंट के रूप में। smolagents के डॉक्स कहते हैं कि अतिरिक्त आर्ग्युमेंट हर completion कॉल को आगे भेजे जाते हैं। हमारे टेस्ट में हर अनुरोध पर max_tokens=4000 भेजा गया।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें