BroadRouter

BroadNet Inference के साथ Pydantic AI (OpenAICompatibleProvider)

अपडेट किया गया

pydantic-ai-slim[openai] इंस्टॉल करें, फिर broadnet/glm-5.3 जैसे BroadNet मॉडल ID और ऐसे OpenAICompatibleProvider के साथ OpenAIChatModel बनाएँ, जिसका base URL https://inference.broadnet.ai/v1 और API key आपकी BroadNet key हो। मॉडल को Agent में दें। Responses मॉडल नहीं, OpenAIChatModel इस्तेमाल करें, क्योंकि BroadNet chat completions देता है। Pydantic AI के डॉक्स कहते हैं कि base_url वाला OpenAIProvider ख़ुद OpenAI के लिए है।

Pydantic AI, Pydantic टीम का Python एजेंट फ़्रेमवर्क है। जिस सेवा के लिए इसमें बिल्ट-इन प्रोवाइडर नहीं है, उसके लिए इसके डॉक्स उस सेवा के base_url के साथ OpenAICompatibleProvider इस्तेमाल करने को कहते हैं। BroadNet Inference https://inference.broadnet.ai/v1 पर स्टैंडर्ड chat completions देता है, इसलिए यही रास्ता है। BroadRouter, BroadNet की अपनी साइट है। यह गाइड वर्ज़न 2.68 के समय के Pydantic AI डॉक्स के अनुसार है।

इंस्टॉल करें

pip install "pydantic-ai-slim[openai]"
export BROADNET_API_KEY='your-broadnet-key'

कनेक्ट करें

import os
from pydantic_ai import Agent
from pydantic_ai.models.openai import OpenAIChatModel
from pydantic_ai.providers.openai_compatible import OpenAICompatibleProvider

model = OpenAIChatModel(
    'broadnet/glm-5.3',
    provider=OpenAICompatibleProvider(
        'broadnet',
        base_url='https://inference.broadnet.ai/v1',
        api_key=os.environ['BROADNET_API_KEY'],
    ),
)

agent = Agent(model)
result = agent.run_sync('Give me three names for a Go linting tool.')
print(result.output)

इसे चलाना ही टेस्ट है: जवाब प्रिंट हो जाए, तो key, URL और मॉडल ID सही हैं।

  • पहला आर्ग्युमेंट मॉडल ID है, जो BroadNet को भेजा जाता है। इसे बिल्कुल वैसा ही, broadnet/ प्रीफ़िक्स के साथ इस्तेमाल करें।
  • प्रोवाइडर का नाम (यहाँ 'broadnet') हर रिस्पॉन्स पर दर्ज होता है। Pydantic AI के डॉक्स इसे स्थिर रखने को कहते हैं, क्योंकि इसी से तय होता है कि पिछले रिस्पॉन्स का कौन-सा डेटा सेवा को वापस भेजा जाए।
  • OpenAIChatModel पर ही रहें। Pydantic AI के डॉक्स कहते हैं कि OpenAIResponsesModel तभी इस्तेमाल करें जब सेवा Responses API लागू करती हो। BroadNet इसे सूचीबद्ध नहीं करता।

टूल और स्ट्रक्चर्ड आउटपुट

from pydantic import BaseModel

class City(BaseModel):
    name: str
    country: str

agent = Agent(model, output_type=City)
print(agent.run_sync('Which city hosts the Burj Khalifa?').output)

टूल और स्ट्रक्चर्ड आउटपुट के लिए broadnet/glm-5.3 या broadnet/qwen3.8-27b इस्तेमाल करें; BroadNet के डॉक्स ये दोनों फ़ीचर सिर्फ़ इन्हीं दो मॉडलों के लिए सूचीबद्ध करते हैं।

मॉडल प्रोफ़ाइल कब सेट करें

Pydantic AI, मॉडल के नाम से अनुरोध की प्रोफ़ाइल चुनता है। अगर कोई फ़ीचर अनदेखा होता है या अस्वीकार होता है, तो इसके डॉक्स अपनी OpenAIModelProfile देने को कहते हैं। BroadNet के लिए दो सेटिंग जानने लायक़ हैं:

from pydantic_ai.profiles.openai import OpenAIModelProfile

model = OpenAIChatModel(
    'broadnet/glm-5.3',
    provider=OpenAICompatibleProvider('broadnet', base_url='https://inference.broadnet.ai/v1', api_key=os.environ['BROADNET_API_KEY']),
    profile=OpenAIModelProfile(
        openai_chat_supports_max_completion_tokens=False,  # send max_tokens, the field BroadNet documents
        openai_supports_strict_tool_definition=False,      # only if strict tool schemas are rejected
    ),
)

आउटपुट सीमा मॉडल सेटिंग के ज़रिए दें, उदाहरण के लिए agent.run_sync(prompt, model_settings={'max_tokens': 2000})। DeepSeek V4.1 Flash, GLM 5.3 और Qwen3.8 27B पर रीज़निंग इसमें गिनी जाती है।

कौन-सा मॉडल चुनें

एजेंट मॉडल
टूल, स्ट्रक्चर्ड आउटपुट broadnet/glm-5.3
टूल के साथ इमेज या अरबी टेक्स्ट broadnet/qwen3.8-27b
लंबे दस्तावेज़, फ़्लैट-प्राइस प्लान broadnet/deepseek-v4.1-flash
मुफ़्त शुरुआती क्रेडिट broadnet/gemma-4-26b-a4b (32,768 टोकन का कॉन्टेक्स्ट)

हर मॉडल की कीमतें।

समस्या निवारण

  • 401. key ग़लत है, एक्सपायर हो चुकी है या उसकी सीमा ख़त्म हो गई है।
  • 404 या मॉडल नहीं मिला. base_url का अंत /v1 पर होना चाहिए। मॉडल ID जाँचें। पेड मॉडल के लिए टॉप-अप चाहिए; $5 का क्रेडिट सिर्फ़ broadnet/gemma-4-26b-a4b और दो Transcribe मॉडल को कवर करता है।
  • ख़ाली आउटपुट या वैलिडेशन रीट्राई का लूप. रीज़निंग ने आउटपुट बजट ख़र्च कर दिया। max_tokens बढ़ाएँ। जवाब ख़ाली क्यों आते हैं।
  • टूल डेफ़िनिशन पर 400. प्रोफ़ाइल में openai_supports_strict_tool_definition=False सेट करें, और ऐसा मॉडल इस्तेमाल करें जिसे BroadNet टूल के साथ सूचीबद्ध करता है।
  • एजेंट एक साथ चलाने पर 429. उपयोग के अनुसार भुगतान वाली key प्रति मिनट 30 अनुरोध और एक साथ 4 चालू अनुरोधों की अनुमति देती है। एरर और रीट्राई देखें।

अक्सर पूछे जाने वाले सवाल

BroadNet के लिए OpenAIProvider इस्तेमाल करूँ या OpenAICompatibleProvider?

OpenAICompatibleProvider। Pydantic AI के डॉक्स कहते हैं कि OpenAIProvider भी base_url लेता है, लेकिन वह ख़ुद OpenAI या उस तक जाने वाले transparent proxy के लिए है, और OpenAI के मॉडल और फ़ीचर मानकर चलता है।

डिफ़ॉल्ट OpenAI मॉडल की जगह OpenAIChatModel क्यों?

Pydantic AI का डिफ़ॉल्ट OpenAI मॉडल Responses API इस्तेमाल करता है। BroadNet, /v1/chat/completions पर chat completions देता है, और OpenAIChatModel वही कॉल करता है।

क्या टूल और स्ट्रक्चर्ड आउटपुट काम करते हैं?

हाँ, उन मॉडलों पर जिन्हें BroadNet टूल और स्ट्रक्चर्ड आउटपुट के साथ सूचीबद्ध करता है: GLM 5.3 और Qwen3.8 27B। BroadNet के डॉक्स DeepSeek V4.1 Flash के लिए टूल सूचीबद्ध नहीं करते, इसलिए टूल वाले एजेंट पहले उस पर टेस्ट करें।

Pydantic AI को max_completion_tokens भेजने से कैसे रोकूँ?

OpenAIChatModel को profile=OpenAIModelProfile(openai_chat_supports_max_completion_tokens=False) दें। तब Pydantic AI पुराना max_tokens फ़ील्ड भेजता है, जिसे BroadNet का API रेफ़रंस बताता है।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें