BroadRouter

OpenAIModel کے ساتھ smolagents کو BroadNet Inference پر چلائیں

اپ ڈیٹ

smolagents کا OpenAIModel بنائیں، model_id کو broadnet/glm-5.3 جیسے BroadNet ID، api_base کو https://inference.broadnet.ai/v1 اور api_key کو اپنی BroadNet کلید پر رکھ کر، پھر اسے CodeAgent یا ToolCallingAgent کو دیں۔ CodeAgent نیٹو ٹول کالز کے بجائے Python لکھتا ہے، اس لیے یہ DeepSeek V4.1 Flash پر چل سکتا ہے۔ ToolCallingAgent کو GLM 5.3 یا Qwen3.8 27B چاہیے۔

smolagents، ایجنٹس کے لیے Hugging Face کی چھوٹی Python لائبریری ہے۔ اس کی OpenAIModel کلاس “connects to an OpenAI-compatible API server” (ترجمہ: OpenAI-compatible API سرور سے جڑتی ہے)، URL کے لیے api_base کے ساتھ۔ BroadNet Inference، https://inference.broadnet.ai/v1 پر chat completions فراہم کرتا ہے، اس لیے یہ براہِ راست کام کرتا ہے۔ BroadRouter، BroadNet کی اپنی سائٹ ہے؛ یہ گائیڈ smolagents 1.26.0 کی دستاویزات پر مبنی ہے۔

انسٹال کریں

pip install smolagents
export BROADNET_API_KEY='your-broadnet-key'

CodeAgent

import os
from smolagents import OpenAIModel, CodeAgent

model = OpenAIModel(
    model_id="broadnet/deepseek-v4.1-flash",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,
)

agent = CodeAgent(tools=[], model=model)
print(agent.run("What is 6 * 7? Use Python to check."))

CodeAgent ماڈل سے <code> ٹیگز کے درمیان Python لکھنے کو کہتا ہے اور اسے لوکل مشین پر چلاتا ہے۔ درخواست ایک سادہ chat completion ہے، </code> جیسی stop sequences کے ساتھ اور tools فیلڈ کے بغیر۔ یعنی یہ نیٹو ٹول کالنگ پر منحصر نہیں، اس لیے یہ broadnet/deepseek-v4.1-flash پر چل سکتا ہے، جو BroadNet کے لامحدود پلانز والا ماڈل ہے۔ کوڈ کا معیار پھر بھی ماڈل کے لحاظ سے بدلتا ہے، اس لیے اپنے کاموں پر ٹیسٹ کریں۔

CodeAgent وہ کوڈ چلاتا ہے جو ماڈل لکھتا ہے۔ فائلز، نیٹ ورک یا کریڈینشلز تک رسائی والے ٹولز دینے سے پہلے محفوظ کوڈ ایکزیکیوشن پر smolagents کی رہنمائی پڑھیں۔

ToolCallingAgent

from smolagents import ToolCallingAgent, tool

@tool
def get_weather(city: str) -> str:
    """Get the weather for a city.

    Args:
        city: The city name.
    """
    return f"21C in {city}"

model = OpenAIModel(
    model_id="broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,
)
agent = ToolCallingAgent(tools=[get_weather], model=model)
print(agent.run("What's the weather in Riyadh?"))

ToolCallingAgent آپ کے ٹولز، اور ساتھ میں اپنا final_answer ٹول، tool_choice: "required" کے ساتھ فنکشن اسکیما کے طور پر بھیجتا ہے۔ broadnet/glm-5.3 یا broadnet/qwen3.8-27b استعمال کریں؛ BroadNet کی دستاویزات صرف ان دو ماڈلز کے لیے ٹولز درج کرتی ہیں۔

کون سا ماڈل چنیں

ایجنٹ ماڈل
CodeAgent، فلیٹ قیمت والے پلان پر لمبے رن broadnet/deepseek-v4.1-flash
ToolCallingAgent broadnet/glm-5.3
تصویری ان پٹ کے ساتھ کوئی بھی ایجنٹ broadnet/qwen3.8-27b

ایک پلان سیشن ایک وقت میں ایک درخواست چلاتا ہے، اور ایجنٹ اپنے مراحل ایک کے بعد ایک بھیجتا ہے، اس لیے ایک سیشن ایک ایجنٹ کے لیے موزوں ہے۔ ہر ماڈل کی قیمتیں۔

ہم نے اسے کیسے ٹیسٹ کیا

2026-11-15 کو ہم نے ایک صاف ورچوئل انوائرنمنٹ میں smolagents 1.26.0 انسٹال کیا اور دونوں ایجنٹس ایک لوکل موک سرور پر چلائے جو BroadNet کی chat-completions ساخت میں جواب دیتا ہے۔ DeepSeek ID پر CodeAgent کو کوڈ والا جواب ملا، اس نے اسے چلایا اور 42 لوٹایا۔ اس کی درخواستوں میں max_tokens: 4000 اور stop sequences تھیں اور کوئی ٹول نہیں تھا۔ ToolCallingAgent کے لیے ہم نے درخواست کی ساخت جانچی: ماڈل ID بغیر تبدیلی کے بھیجا گیا، دونوں ٹول اسکیماز اور tool_choice: "required" کے ساتھ۔ smolagents ٹول کے نتائج user میسجز کے طور پر واپس بھیجتا ہے۔ ہمارا موک اس فارمیٹ کی پیروی نہیں کرتا تھا، اس لیے ہم نے اس ایجنٹ کو حتمی جواب تک نہیں چلایا۔ ہمارے پاس BroadNet کلید نہیں تھی، اس لیے ہم نے حقیقی ماڈل آؤٹ پٹ ٹیسٹ نہیں کیا۔

مسائل کا حل

  • 401۔ کلید غلط ہے، ختم ہو چکی ہے یا الاؤنس ختم ہو گیا ہے۔
  • 404۔ api_base کو /v1 پر ختم ہونا چاہیے۔ ماڈل ID جانچیں۔ پیڈ ماڈلز کے لیے ٹاپ اپ چاہیے؛ $5 کریڈٹ صرف broadnet/gemma-4-26b-a4b اور دو Transcribe ماڈلز کا احاطہ کرتا ہے۔
  • “Make sure to provide correct code blobs”۔ ماڈل کے جواب میں کوئی کوڈ بلاک نہیں تھا۔ max_tokens بڑھائیں، کیونکہ ریزننگ اس میں گنی جاتی ہے، یا کوئی دوسرا ماڈل آزمائیں۔ جوابات خالی کیوں آتے ہیں۔
  • ToolCallingAgent کبھی ختم نہیں ہوتا۔ broadnet/glm-5.3 یا broadnet/qwen3.8-27b پر جائیں۔
  • 429۔ استعمال کے مطابق ادائیگی والی کلید فی منٹ 30 درخواستوں کی اجازت دیتی ہے۔ smolagents، requests_per_minute سے اپنی رفتار خود محدود کر سکتا ہے۔ ایررز اور ری ٹرائی دیکھیں۔

عام سوالات

OpenAIModel استعمال کریں یا OpenAIServerModel؟

smolagents 1.26 کسی بھی OpenAI-compatible سرور کے لیے OpenAIModel دستاویز کرتا ہے۔ پیکیج اب بھی OpenAIServerModel ایکسپورٹ کرتا ہے، مگر دستاویزات OpenAIModel بیان کرتی ہیں۔

کیا smolagents، BroadNet کے لامحدود پلان پر چل سکتا ہے؟

پلانز DeepSeek V4.1 Flash کا احاطہ کرتے ہیں۔ BroadNet اس کے لیے ٹول کالنگ درج نہیں کرتا، مگر CodeAgent کو نیٹو ٹول کالز کی ضرورت نہیں؛ یہ ماڈل سے Python کوڈ مانگتا ہے۔ ہمارے موک ٹیسٹ میں DeepSeek ID پر CodeAgent نے tools فیلڈ کے بغیر سادہ چیٹ درخواستیں بھیجیں۔

ToolCallingAgent کو GLM 5.3 یا Qwen3.8 27B کیوں چاہیے؟

یہ ٹولز کو OpenAI فنکشن اسکیما کے طور پر بھیجتا ہے، tool_choice کو required پر رکھ کر۔ BroadNet کی دستاویزات صرف GLM 5.3 اور Qwen3.8 27B کے لیے ٹولز درج کرتی ہیں۔

max_tokens یا temperature کیسے پاس کریں؟

OpenAIModel کو کی ورڈ آرگیومنٹس کے طور پر۔ smolagents کی دستاویزات کہتی ہیں کہ اضافی آرگیومنٹس ہر completion کال کو آگے بھیجے جاتے ہیں۔ ہمارے ٹیسٹ میں ہر درخواست پر max_tokens=4000 بھیجا گیا۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں