BroadRouter

CrewAI میں BroadNet Inference کو کسٹم OpenAI اینڈ پوائنٹ بنائیں

اپ ڈیٹ

crewai کی LLM کلاس سے ماڈل بنائیں: model میں broadnet/glm-5.3 جیسا BroadNet ID، custom_openai=True، base_url میں https://inference.broadnet.ai/v1 اور api_key میں اپنی BroadNet کلید۔ پھر یہ LLM ہر Agent کو دیں۔ CrewAI اپنا مقامی (native) OpenAI کلائنٹ اور chat completions استعمال کرتا ہے، اس لیے LiteLLM انسٹال کرنے کی ضرورت نہیں۔

CrewAI ایجنٹس کی ٹیموں کے لیے ایک Python فریم ورک ہے۔ اس کی دستاویزات ایک کسٹم OpenAI-compatible اینڈ پوائنٹ پیٹرن دکھاتی ہیں: custom_openai=True اور base_url والا LLM۔ BroadNet Inference، https://inference.broadnet.ai/v1 پر معیاری chat completions فراہم کرتا ہے، اس لیے یہ وہیں جڑ جاتا ہے۔ BroadRouter، BroadNet کی اپنی سائٹ ہے؛ یہ گائیڈ ورژن 1.15.41 تک کی CrewAI دستاویزات اور سورس کے مطابق ہے۔

انسٹال کریں

pip install crewai
export BROADNET_API_KEY='your-broadnet-key'

کنیکٹ کریں

import os
from crewai import LLM, Agent

llm = LLM(
    model="broadnet/glm-5.3",
    custom_openai=True,
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,  # reasoning counts toward this limit
)

# Quick test: one call straight to the model
print(llm.call("Say hello in five words."))

analyst = Agent(
    role="Analyst",
    goal="Summarize incidents",
    backstory="You write short incident summaries.",
    llm=llm,
)
print(analyst.kickoff("Summarize: the API returned 503 for four minutes after a deploy."))

اگر llm.call کوئی جواب پرنٹ کرے تو کلید، URL اور ماڈل ID درست ہیں۔

CrewAI درخواست کو کیسے روٹ کرتا ہے

CrewAI کا سورس ایک ترتیب طے کرتا ہے: custom_openai=True سب سے پہلے آتا ہے اور مقامی OpenAI فراہم کنندہ کو لازمی بنا دیتا ہے، ماڈل کا نام چاہے کچھ بھی اشارہ کرے۔ اگر base_url، api_base، OPENAI_BASE_URL یا OPENAI_API_BASE کے ذریعے کوئی کسٹم اینڈ پوائنٹ سیٹ نہ ہو تو یہ ایرر بھی دیتا ہے۔ ماڈل کی اسٹرنگ جیسی لکھی ہے ویسی ہی بھیجی جاتی ہے، اس لیے broadnet/glm-5.3 بغیر تبدیلی کے BroadNet تک پہنچتا ہے۔

custom_openai کے بغیر، broadnet/glm-5.3 جیسا نام فراہم کنندہ broadnet سمجھا جائے گا، جسے CrewAI نہیں جانتا، اور وہ LiteLLM پر چلا جائے گا۔ دستاویزات میں دیا گیا متبادل base_url کے ساتھ model="openai/broadnet/glm-5.3" ہے: CrewAI، openai/ پری فکس ہٹا کر باقی حصہ بھیجتا ہے۔

CrewAI کے کوڈ اور دستاویزات سے دو مزید باتیں:

  • ٹوکن کی حد کا فیلڈ۔ جب آپ max_tokens دیتے ہیں تو مقامی کلائنٹ chat completions پر max_tokens بھیجتا ہے، وہی فیلڈ جو BroadNet کا API ریفرنس بیان کرتا ہے۔ اگر آپ max_completion_tokens دیں تو اس کی جگہ وہ بھیجا جاتا ہے۔
  • chat completions پر ہی رہیں۔ CrewAI کی دستاویزات Responses API پر جانے کے لیے api="responses" دکھاتی ہیں۔ اسے سیٹ نہ کریں؛ BroadNet وہ API درج نہیں کرتا۔

کس ایجنٹ کے لیے کون سا ماڈل

ایجنٹ ماڈل کیوں
ٹولز والے ایجنٹس broadnet/glm-5.3 BroadNet ٹولز اور اسٹرکچرڈ آؤٹ پٹ درج کرتا ہے؛ 1M کانٹیکسٹ
تصویری یا عربی ان پٹ، ٹولز کے ساتھ broadnet/qwen3.8-27b ٹولز اور تصاویر؛ 262K کانٹیکسٹ
لمبے مطالعاتی ٹاسک، مقررہ قیمت والا پلان broadnet/deepseek-v4.1-flash لامحدود پلانز؛ BroadNet ٹولز درج نہیں کرتا

ایک crew انہیں ملا سکتا ہے: ہر Agent کو اس کا اپنا LLM دیں۔

مسائل کا حل

  • 401۔ کلید غلط ہے، اس کی میعاد ختم ہو گئی ہے یا الاؤنس ختم ہو گیا ہے۔ اگر آپ نے api_key نہیں دیا تو CrewAI نے OPENAI_API_KEY پڑھا، جس میں شاید OpenAI کی کلید ہو۔
  • “custom_openai=True requires base_url”۔ base_url دیں، یا OPENAI_BASE_URL سیٹ کریں۔
  • ماڈل نہیں ملا۔ دیکھیں کہ ID بالکل BroadNet کے ID سے ملتا ہے۔ پیڈ ماڈلز کے لیے ٹاپ اپ چاہیے؛ $5 کریڈٹ صرف broadnet/gemma-4-26b-a4b اور دو Transcribe ماڈلز کا احاطہ کرتا ہے۔
  • EmptyLLMResponseError۔ CrewAI خالی جواب پر ایک بار دوبارہ کوشش کرتا ہے، پھر یہ ایرر دیتا ہے۔ max_tokens بڑھائیں۔ جوابات خالی کیوں آتے ہیں۔
  • کئی ایجنٹس کے ساتھ 429۔ استعمال کے مطابق ادائیگی والی کلید فی منٹ 30 درخواستوں اور بیک وقت 4 جاری درخواستوں کی اجازت دیتی ہے، اور ایک پلان سیشن ایک وقت میں ایک درخواست چلاتا ہے۔ ایررز اور دوبارہ کوشش دیکھیں۔

عام سوالات

CrewAI میں custom_openai=True کیا کرتا ہے؟

CrewAI کا سورس بتاتا ہے کہ یہ ماڈل کا نام چاہے جیسا بھی دکھے، مقامی OpenAI فراہم کنندہ ہی استعمال کرواتا ہے، اور اس کے لیے base_url، api_base، OPENAI_BASE_URL یا OPENAI_API_BASE ضروری ہے۔ ماڈل کی اسٹرنگ جیسی لکھی ہے ویسی ہی بھیجی جاتی ہے، اس لیے broadnet/glm-5.3 بغیر تبدیلی کے BroadNet تک پہنچتا ہے۔

کیا میں اس کی جگہ model="openai/broadnet/glm-5.3" لکھ سکتا ہوں؟

ہاں۔ کسٹم base_url کے ساتھ CrewAI، openai/ پری فکس کو اپنے مقامی OpenAI کلائنٹ کی طرف بھیجتا ہے اور پری فکس ہٹا دیتا ہے، اس لیے BroadNet کو broadnet/glm-5.3 ملتا ہے۔ custom_openai=True زیادہ واضح طریقہ ہے۔

میرا crew کیوں EmptyLLMResponseError کے ساتھ ناکام ہوتا ہے؟

جب جواب خالی ہو، یعنی نہ کوئی مواد ہو نہ ٹول کالز، تو CrewAI ایک بار دوبارہ کوشش کرتا ہے، اور اگر دوبارہ کوشش بھی خالی ہو تو یہ ایرر دیتا ہے۔ BroadNet کے ریزننگ ماڈلز پر اس کا مطلب عموماً یہ ہوتا ہے کہ ریزننگ نے آؤٹ پٹ بجٹ ختم کر دیا۔ max_tokens بڑھائیں۔

CrewAI ایجنٹس کے لیے BroadNet کا کون سا ماڈل استعمال کریں؟

ٹولز والے ایجنٹس کے لیے GLM 5.3، کیونکہ BroadNet اس کے لیے ٹولز اور اسٹرکچرڈ آؤٹ پٹ درج کرتا ہے۔ Qwen3.8 27B میں بھی ٹولز ہیں اور یہ تصاویر بھی لیتا ہے۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں