BroadRouter

CrewAI में BroadNet Inference को कस्टम OpenAI एंडपॉइंट बनाएँ

अपडेट किया गया

crewai की LLM क्लास से मॉडल बनाएँ: model में broadnet/glm-5.3 जैसा BroadNet ID, custom_openai=True, base_url में https://inference.broadnet.ai/v1 और api_key में अपनी BroadNet key। फिर वह LLM हर Agent को दें। CrewAI अपना नेटिव OpenAI क्लाइंट और chat completions इस्तेमाल करता है, इसलिए LiteLLM इंस्टॉल करने की ज़रूरत नहीं।

CrewAI एजेंट की टीमों के लिए एक Python फ़्रेमवर्क है। इसके डॉक्स एक कस्टम OpenAI-कम्पैटिबल एंडपॉइंट पैटर्न दिखाते हैं: custom_openai=True और base_url वाला LLM। BroadNet Inference https://inference.broadnet.ai/v1 पर स्टैंडर्ड chat completions सर्व करता है, इसलिए यह वहीं जुड़ जाता है। BroadRouter, BroadNet की अपनी साइट है; यह गाइड वर्ज़न 1.15.41 तक के CrewAI डॉक्स और सोर्स के अनुसार है।

इंस्टॉल करें

pip install crewai
export BROADNET_API_KEY='your-broadnet-key'

कनेक्ट करें

import os
from crewai import LLM, Agent

llm = LLM(
    model="broadnet/glm-5.3",
    custom_openai=True,
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,  # reasoning counts toward this limit
)

# Quick test: one call straight to the model
print(llm.call("Say hello in five words."))

analyst = Agent(
    role="Analyst",
    goal="Summarize incidents",
    backstory="You write short incident summaries.",
    llm=llm,
)
print(analyst.kickoff("Summarize: the API returned 503 for four minutes after a deploy."))

अगर llm.call कोई जवाब प्रिंट करता है, तो key, URL और मॉडल ID सही हैं।

CrewAI अनुरोध को कैसे रूट करता है

CrewAI का सोर्स एक क्रम तय करता है: custom_openai=True सबसे पहले आता है और नेटिव OpenAI प्रोवाइडर को ज़बरदस्ती चुनता है, मॉडल का नाम चाहे जो इशारा करे। अगर base_url, api_base, OPENAI_BASE_URL या OPENAI_API_BASE से कोई कस्टम एंडपॉइंट सेट न हो, तो यह एरर भी देता है। मॉडल स्ट्रिंग जैसी लिखी है वैसी ही भेजी जाती है, इसलिए broadnet/glm-5.3 बिना बदले BroadNet तक पहुँचता है।

custom_openai के बिना, broadnet/glm-5.3 जैसे नाम को प्रोवाइडर broadnet माना जाएगा, जिसे CrewAI नहीं जानता, और वह LiteLLM पर चला जाएगा। डॉक्स में दिया गया दूसरा तरीक़ा है base_url के साथ model="openai/broadnet/glm-5.3": CrewAI openai/ प्रीफ़िक्स हटाकर बाक़ी हिस्सा भेजता है।

CrewAI के कोड और डॉक्स से दो और बातें:

  • टोकन सीमा का फ़ील्ड। जब आप max_tokens देते हैं, तो नेटिव क्लाइंट chat completions पर max_tokens भेजता है, वही फ़ील्ड जो BroadNet का API रेफ़रंस बताता है। अगर आप max_completion_tokens देते हैं, तो उसकी जगह वह भेजा जाता है।
  • chat completions पर ही रहें। CrewAI के डॉक्स Responses API पर जाने के लिए api="responses" दिखाते हैं। इसे सेट न करें; BroadNet वह API सूचीबद्ध नहीं करता।

किस एजेंट के लिए कौन-सा मॉडल

एजेंट मॉडल क्यों
टूल वाले एजेंट broadnet/glm-5.3 BroadNet टूल और स्ट्रक्चर्ड आउटपुट सूचीबद्ध करता है; 1M कॉन्टेक्स्ट
इमेज या अरबी इनपुट, टूल के साथ broadnet/qwen3.8-27b टूल और इमेज; 262K कॉन्टेक्स्ट
लंबे रीडिंग टास्क, फ़्लैट-रेट प्लान broadnet/deepseek-v4.1-flash अनलिमिटेड प्लान; BroadNet टूल सूचीबद्ध नहीं करता

एक crew इन्हें मिला सकता है: हर Agent को उसका अपना LLM दें।

समस्या का समाधान

  • 401. key ग़लत है, एक्सपायर हो गई है या उसका अलाउंस ख़त्म हो गया है। अगर आपने api_key नहीं दिया, तो CrewAI ने OPENAI_API_KEY पढ़ा, जिसमें शायद OpenAI की key हो।
  • “custom_openai=True requires base_url”. base_url दें, या OPENAI_BASE_URL सेट करें।
  • मॉडल नहीं मिला. देखें कि ID हूबहू BroadNet के ID से मिलता है। पेड मॉडल के लिए टॉप-अप चाहिए; $5 क्रेडिट सिर्फ़ broadnet/gemma-4-26b-a4b और दो Transcribe मॉडल को कवर करता है।
  • EmptyLLMResponseError. CrewAI ख़ाली जवाब पर एक बार रीट्राई करता है, फिर यह एरर देता है। max_tokens बढ़ाएँ। जवाब ख़ाली क्यों आते हैं।
  • कई एजेंट के साथ 429. उपयोग के अनुसार भुगतान वाली key प्रति मिनट 30 अनुरोध और एक साथ 4 चालू अनुरोध की अनुमति देती है, और एक प्लान सेशन एक समय में एक अनुरोध चलाता है। एरर और रीट्राई देखें।

अक्सर पूछे जाने वाले सवाल

CrewAI में custom_openai=True क्या करता है?

CrewAI का सोर्स बताता है कि यह मॉडल का नाम चाहे जैसा दिखे, नेटिव OpenAI प्रोवाइडर ही इस्तेमाल करवाता है, और इसके लिए base_url, api_base, OPENAI_BASE_URL या OPENAI_API_BASE ज़रूरी है। मॉडल स्ट्रिंग जैसी लिखी है वैसी ही जाती है, इसलिए broadnet/glm-5.3 बिना बदले BroadNet तक पहुँचता है।

क्या मैं इसकी जगह model="openai/broadnet/glm-5.3" लिख सकता हूँ?

हाँ। कस्टम base_url के साथ CrewAI openai/ प्रीफ़िक्स को अपने नेटिव OpenAI क्लाइंट पर भेजता है और प्रीफ़िक्स हटा देता है, इसलिए BroadNet को broadnet/glm-5.3 मिलता है। custom_openai=True ज़्यादा साफ़ तरीक़ा है।

मेरा crew EmptyLLMResponseError के साथ फ़ेल क्यों होता है?

जब मॉडल ऐसा खाली जवाब देता है जिसमें न कंटेंट हो, न टूल कॉल, तो CrewAI एक बार रीट्राई करता है, और रीट्राई भी खाली हो तो यह एरर देता है। BroadNet के रीज़निंग मॉडल पर इसका मतलब आम तौर पर यह होता है कि रीज़निंग ने आउटपुट बजट ख़त्म कर दिया। max_tokens बढ़ाएँ।

CrewAI एजेंट के लिए BroadNet का कौन-सा मॉडल लें?

टूल वाले एजेंट के लिए GLM 5.3, क्योंकि BroadNet उसके लिए टूल और स्ट्रक्चर्ड आउटपुट सूचीबद्ध करता है। Qwen3.8 27B में भी टूल हैं और यह इमेज भी लेता है।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें