BroadRouter
شروع کریں

LiteLLM کو BroadNet Inference پر روٹ کریں (SDK اور پراکسی)

اپ ڈیٹ

LiteLLM میں BroadNet ماڈل ID کے آگے openai/ لگائیں، جیسے openai/broadnet/glm-5.3، اور api_base کو https://inference.broadnet.ai/v1 اور api_key کو اپنی BroadNet کلید پر سیٹ کریں۔ پراکسی میں یہی قدریں config.yaml کے litellm_params کے نیچے رکھیں اور ماڈل کو ایک مختصر model_name دیں۔

LiteLLM بہت سے LLM فراہم کنندگان کے لیے ایک ہی انٹرفیس دیتا ہے، Python SDK کے طور پر بھی اور پراکسی سرور کے طور پر بھی۔ کسی OpenAI-compatible API تک پہنچنے کے لیے اس کی دستاویزات دو کام بتاتی ہیں: ماڈل کے نام کے آگے openai/ لگائیں، اور api_base سیٹ کریں۔ BroadNet Inference اسی روٹ سے چلتا ہے۔

1. Python SDK

pip install litellm
export BROADNET_API_KEY='your-broadnet-key'

کوڈ میں max_tokens والا تبصرہ یاد دلاتا ہے کہ ریزننگ بھی اسی حد میں گنی جاتی ہے۔

import os
import litellm

response = litellm.completion(
    model="openai/broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,  # reasoning counts toward this
    messages=[{"role": "user", "content": "Name three uses of a bloom filter."}],
)
print(response.choices[0].message.content)

openai/ روٹ چنتا ہے؛ LiteLLM، BroadNet کو broadnet/glm-5.3 بھیجتا ہے۔ base URL میں کچھ نہ جوڑیں؛ اینڈپوائنٹ کا پاتھ LiteLLM کا OpenAI کلائنٹ خود جوڑتا ہے۔

LiteLLM کی دستاویزات بتاتی ہیں کہ openai روٹ سرکاری OpenAI Python لائبریری استعمال کرتا ہے، جسے ہر درخواست پر ایک API کلید چاہیے۔ اوپر کی طرح api_key واضح طور پر پاس کریں، تاکہ LiteLLM کبھی اس OPENAI_API_KEY پر نہ لوٹے جو اصل میں OpenAI کے لیے ہے۔ جواب OpenAI کی ساخت میں ہی آتا ہے، اس لیے آپ کا باقی کوڈ نہیں بدلتا۔

پراکسی کب استعمال کریں

ایک Python ایپ کے اندر SDK کافی ہے۔ پراکسی تب کام آتی ہے جب کئی ایپس یا کئی زبانوں کو وہی ماڈلز چاہییں: سب مختصر ماڈل ناموں کے ساتھ ایک ہی OpenAI طرز کے اینڈپوائنٹ کو کال کرتے ہیں، اور پراکسی BroadNet کلید رکھتی ہے، ریٹ لمٹس لاگو کرتی ہے اور usage لاگ کرتی ہے۔ تب آپ کی ایپس کو BroadNet کے لیے کوئی الگ سیٹنگ نہیں چاہیے۔

2. پراکسی سرور

پراکسی والے extras انسٹال کریں اور config.yaml لکھیں:

pip install 'litellm[proxy]'
model_list:
  - model_name: glm
    litellm_params:
      model: openai/broadnet/glm-5.3
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_GLM
      rpm: 30
  - model_name: deepseek-flash
    litellm_params:
      model: openai/broadnet/deepseek-v4.1-flash
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_DEEPSEEK
      rpm: 30
  - model_name: qwen
    litellm_params:
      model: openai/broadnet/qwen3.8-27b
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_QWEN
      rpm: 30

general_settings:
  master_key: os.environ/LITELLM_MASTER_KEY

اسے شروع کریں اور کسی بھی OpenAI اینڈپوائنٹ کی طرح کال کریں (curl والی کمانڈ دوسرے ٹرمینل میں چلائیں):

litellm --config config.yaml

# in a second terminal
curl http://localhost:4000/chat/completions \
  -H "Authorization: Bearer $LITELLM_MASTER_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "glm", "messages": [{"role": "user", "content": "Hello"}]}'

os.environ/BROADNET_API_KEY_GLM سے LiteLLM وہ کلید انوائرنمنٹ سے پڑھتا ہے۔ ہر اندراج اپنی الگ BroadNet استعمال کے مطابق ادائیگی والی کلید استعمال کرتا ہے، اس لیے rpm: 30، جو LiteLLM کی اختیاری فی ڈیپلائمنٹ ریٹ لمٹ ہے، ہر کلید کی حد سے مطابقت رکھتا ہے۔ اگر کئی اندراجات ایک ہی کلید شیئر کرتے ہیں تو وہ وہی ایک حد بھی شیئر کرتے ہیں، اس لیے عدد کو ان کے درمیان بانٹ دیں۔ master_key کی وجہ سے پراکسی ہر کال پر کلید مانگتی ہے؛ LiteLLM کی دستاویزات کے مطابق یہ sk- سے شروع ہونی چاہیے۔ پراکسی شروع کرنے سے پہلے LITELLM_MASTER_KEY ایکسپورٹ کریں۔

کون سا ماڈل چنیں

model_name BroadNet ماڈل استعمال
glm GLM 5.3 ٹولز، اسٹرکچرڈ آؤٹ پٹ، 1M کانٹیکسٹ
deepseek-flash DeepSeek V4.1 Flash لمبا کانٹیکسٹ؛ لامحدود پلان والا ماڈل
qwen Qwen3.8 27B تصاویر، ٹولز، عربی
(ضرورت ہو تو شامل کریں) Gemma 4 VL 26B کم فی ٹوکن قیمت؛ $5 کریڈٹ پر چلتا ہے

قیمتیں قیمتوں کے صفحے پر ہیں۔ اگر آپ کسی دوسرے گیٹ وے سے منتقل ہو رہے ہیں تو مائیگریشن چیک لسٹ بتاتی ہے کہ کیا ٹیسٹ کرنا ہے۔

مسائل کا حل

  • 401۔ BroadNet کلید غلط ہے، اس کی میعاد ختم ہو گئی ہے، یا استعمال کے مطابق ادائیگی والا الاؤنس ختم ہو گیا ہے۔ اگر 401 خود پراکسی سے آ رہا ہے تو اس کے بجائے وہ LiteLLM کلید جانچیں جو آپ نے بھیجی تھی۔
  • Not Found۔ یقینی بنائیں کہ api_base، /v1 سمیت https://inference.broadnet.ai/v1 ہے۔ base URL درست ہو تو دیکھیں کہ openai/ کے بعد کا ماڈل ID، BroadNet کے ID سے بالکل ملتا ہے۔
  • نئے اکاؤنٹ پر ماڈل مسترد ہوتا ہے۔ GLM 5.3، Qwen3.8 27B اور DeepSeek V4.1 Flash کے لیے پہلے ٹاپ اپ چاہیے؛ $5 کریڈٹ صرف broadnet/gemma-4-26b-a4b اور دو Transcribe ماڈلز کا احاطہ کرتا ہے۔
  • خالی content۔ ریزننگ، max_tokens میں گنی جاتی ہے۔ اسے بڑھائیں یا reasoning_effort="low" بھیجیں۔ جوابات خالی کیوں آتے ہیں۔
  • 429۔ استعمال کے مطابق ادائیگی والی کلید فی منٹ 30 درخواستوں اور بیک وقت 4 درخواستوں کی اجازت دیتی ہے۔ LiteLLM کا rpm پہلی حد میں مدد کرتا ہے؛ ہر کلید پر بیک وقت کال کرنے والے 4 یا اس سے کم رکھیں۔ ایررز اور دوبارہ کوشش دیکھیں۔
  • پلان کلید پر متوازی ایجنٹس۔ ایک پلان سیشن ایک وقت میں ایک درخواست چلاتا ہے۔ ایک ہی سیشن پر پراکسی کے ذریعے کئی ایجنٹس چلانے سے وہ قطار میں لگتے ہیں؛ ہر متوازی ایجنٹ کے لیے ایک سیشن خریدیں۔

عام سوالات

LiteLLM، Not Found ایرر کیوں لوٹاتا ہے؟

LiteLLM کی دستاویزات کہتی ہیں کہ یقینی بنائیں کہ api_base کے آخر میں /v1 ہو۔ https://inference.broadnet.ai/v1 استعمال کریں اور /chat/completions نہ جوڑیں۔

ماڈل کا نام openai/broadnet/glm-5.3 کیوں ہے؟

openai/ پری فکس LiteLLM کو بتاتا ہے کہ OpenAI طرز کے /chat/completions اینڈپوائنٹ کو کال کرنا ہے۔ LiteLLM پری فکس سے روٹ چنتا ہے اور باقی حصہ، broadnet/glm-5.3، بھیجتا ہے، جو BroadNet کا ماڈل ID ہے۔

کیا میں BroadNet لامحدود پلان کی کلید کسی مشترکہ LiteLLM پراکسی کے پیچھے رکھ سکتا ہوں؟

پلان کلیدیں نہ شیئر کی جا سکتی ہیں نہ دوبارہ بیچی جا سکتی ہیں، اور ایک سیشن ایک وقت میں ایک درخواست چلاتا ہے۔ انہیں اپنے ایجنٹس کے لیے استعمال کریں۔ ٹیم کی پراکسی کے لیے استعمال کے مطابق ادائیگی والی کلیدیں لیں۔

کیا BroadNet کو کال کرنے کے لیے LiteLLM کو OPENAI_API_KEY چاہیے؟

openai روٹ کو ہر درخواست پر ایک کلید چاہیے، api_key سے یا OPENAI_API_KEY سے۔ اپنی BroadNet کلید کو api_key کے طور پر پاس کریں، یا پراکسی میں os.environ/BROADNET_API_KEY لکھیں، تاکہ LiteLLM اصل OpenAI کلید BroadNet کو نہ بھیجے۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں