जब कोई ओपन-वेट मॉडल रिलीज़ होता है, तब भी किसी को उसे चलाना पड़ता है। इन्फ़रेंस प्रोवाइडर वही कंपनियाँ हैं।
यह कैसे काम करता है
प्रोवाइडर मॉडल के वेट GPU पर लोड करता है, सर्विंग सॉफ़्टवेयर चलाता है जो अनुरोधों को बैच करता है और मेमोरी सँभालता है, और आगे एक API रखता है। ज़्यादातर OpenAI-compatible API देते हैं, इसलिए आप base URL, key और मॉडल ID बदलकर प्रोवाइडर बदल सकते हैं।
इस शब्द में कुछ तरह के बिज़नेस आते हैं:
- मॉडल लैब, जो अपने मॉडल सर्व करती हैं।
- स्वतंत्र होस्ट, जो कई लैब के ओपन-वेट मॉडल सर्व करते हैं।
- क्लाउड, जो GPU या मैनेज्ड एंडपॉइंट किराए पर देते हैं, कभी-कभी प्रति GPU-घंटा बिल के साथ।
- एग्रीगेटर. Hugging Face के Inference Providers एक ही टोकन से “hundreds of machine learning models, powered by world-class inference providers” (अनुवाद: विश्व-स्तरीय इन्फ़रेंस प्रोवाइडर द्वारा चलाए जाने वाले सैकड़ों मशीन लर्निंग मॉडल) तक पहुँच देते हैं। LLM राउटर भी इसी तरह काम करता है।
API का फ़ॉर्मैट साझा है, इसलिए वही कोड इनमें से किसी पर भी चलता है। सिर्फ़ तीन वैल्यू बदलती हैं: प्रोवाइडर (base URL), उसकी key और उसका मॉडल ID:
import os
from openai import OpenAI
msgs = [{"role": "user", "content": "Hello"}]
client = OpenAI(
base_url="https://inference.broadnet.ai/v1", # the provider
api_key=os.environ["BROADNET_API_KEY"], # its key
)
client.chat.completions.create(model="broadnet/deepseek-v4.1-flash", messages=msgs) # its model ID
कीमत का तरीक़ा भी अलग होता है: प्रति टोकन, प्रति ऑडियो मिनट, प्रति घंटा, या प्रति सेशन फ़्लैट।
यह क्यों मायने रखता है
प्रोवाइडर चुनना ज़्यादातर ऐसे समझौते चुनना है जो मॉडल के नाम में नहीं दिखते:
- डेटा हैंडलिंग. रिटेंशन, लॉगिंग और ट्रेनिंग में इस्तेमाल अलग-अलग होते हैं। लिखित ज़ीरो डेटा रिटेंशन पॉलिसी देखें।
- यह कहाँ चलता है. कंप्लायंस के लिए रीजन और सबप्रोसेसर मायने रखते हैं।
- लिमिट. concurrency, रेट लिमिट और कॉन्टेक्स्ट लंबाई मॉडल की अधिकतम क्षमता से कम हो सकती हैं।
- सर्विंग के फ़ैसले. प्रिसिज़न और सर्विंग सेटिंग स्पीड पर, और कभी-कभी आउटपुट पर, असर डालती हैं।
- कीमत का ढाँचा. सही ढाँचा आपके ट्रैफ़िक पर निर्भर है; देखें प्रोवाइडर कीमतों की तुलना।
- कीमत का स्तर. एक ही ओपन मॉडल एक प्रोवाइडर पर दूसरे से कई गुना महँगा हो सकता है। देखें एक ही मॉडल, अलग होस्ट।
BroadNet Inference पर
BroadNet Inference एक इन्फ़रेंस प्रोवाइडर है। इसका प्राइवेसी स्टेटमेंट कहता है कि इसके अपने मॉडल और इसके होस्ट किए ओपन-वेट मॉडल “run on BroadNet-owned or leased hardware in the United States, with partner capacity as backup” (अनुवाद: अमेरिका में BroadNet के अपने या लीज़ पर लिए हार्डवेयर पर चलते हैं, बैकअप के लिए पार्टनर क्षमता के साथ), और पार्टनर द्वारा सर्व किए गए मॉडल अमेरिकी इन्फ़रेंस पार्टनर के साथ ज़ीरो डेटा रिटेंशन की शर्तों पर चलते हैं। अनुरोध और रिस्पॉन्स की सामग्री रखी नहीं जाती।
यह https://inference.broadnet.ai/v1 पर OpenAI-compatible API के ज़रिए चैट मॉडल देता है, जिनमें DeepSeek V4.1 Flash और GLM 5.3 शामिल हैं, और दो स्पीच-टू-टेक्स्ट मॉडल। बिलिंग प्रति टोकन या प्रति ऑडियो मिनट उपयोग के अनुसार भुगतान, एक hourly key, या DeepSeek V4.1 Flash के फ़्लैट प्लान से होती है। अपने मानदंडों पर इसकी दूसरों से तुलना के लिए प्रोवाइडर चेकलिस्ट इस्तेमाल करें।