BroadRouter

LLM API प्रोवाइडर कैसे चुनें: 20 सवालों की चेकलिस्ट

BroadNet Inference टीम · 5 मिनट में पढ़ें · प्रकाशित · अपडेट किया गया

LLM API प्रोवाइडर चुनने के लिए उसे छह क्षेत्रों पर स्कोर करें: आपके असली वर्कलोड की कुल लागत, रेट और कॉन्करेंसी की सीमाएँ, OpenAI कम्पैटिबिलिटी, डेटा रिटेंशन और ट्रेनिंग की शर्तें, ज़रूरी मॉडल और कॉन्टेक्स्ट साइज़, और सपोर्ट व भरोसेमंदी। फिर फ़ैसला करने से पहले अपने ट्रैफ़िक के साथ एक हफ़्ते का टेस्ट चलाएँ। सिर्फ़ प्रति टोकन कीमत अच्छा पैमाना नहीं है।

A chess knight and queen on a board, with the text "The right model. For the next move."

LLM API प्रोवाइडर चुनने के लिए हर उम्मीदवार को छह क्षेत्रों पर स्कोर करें: आपके असली वर्कलोड की मासिक लागत, रेट और कॉन्करेंसी की सीमाएँ, OpenAI कम्पैटिबिलिटी, डेटा रिटेंशन और ट्रेनिंग की शर्तें, आपको चाहिए मॉडल, और सपोर्ट व भरोसेमंदी। फिर टॉप दो को एक हफ़्ते के असली ट्रैफ़िक से टेस्ट करें। नीचे हैं: 20 सवाल, एक स्कोरिंग शीट और टेस्ट प्लान।

चुनने के बाद, स्विच करने का काम माइग्रेशन चेकलिस्ट में है, और क्वालिटी टेस्टिंग विस्तार से मॉडल बदलने से पहले LLM का मूल्यांकन कैसे करें में।

असल में कितना ख़र्च होगा? (सवाल 1 से 4)

  1. मेरे असली वर्कलोड का मासिक ख़र्च कितना है? इनपुट, कैश्ड इनपुट और आउटपुट की कीमत अलग-अलग निकालें; मुफ़्त LLM API कॉस्ट कैलकुलेटर हर मॉडल के लिए यही करता है। एजेंट वही कॉन्टेक्स्ट बार-बार भेजते हैं, इसलिए अक्सर कैश्ड इनपुट ही सबसे बड़ा हिस्सा होता है। हमारा प्राइसिंग गाइड हर मद को समझाता है।
  2. क्या रीज़निंग टोकन आउटपुट के रूप में बिल होते हैं? रीज़निंग मॉडल जवाब देने से ज़्यादा टोकन सोचने में ख़र्च कर सकते हैं।
  3. क्या फ़्लैट-रेट का विकल्प है? हमेशा चालू रहने वाले एजेंट के लिए फ़्लैट प्लान प्रति-टोकन बिलिंग से सस्ता पड़ सकता है। ब्रेक-ईवन का हिसाब देखें।
  4. क्या कीमतें मशीन-रीडेबल और तारीख़ के साथ हैं? JSON प्राइस फ़ाइल से आप बदलाव ट्रैक कर सकते हैं और लागत के अलर्ट बना सकते हैं।

LLM API के मुफ़्त टियर और रेट लिमिट का हमारा खुला डेटासेट तुलना करता है कि 14 प्रोवाइडर मुफ़्त एक्सेस, शुरुआती रेट लिमिट, कार्ड की ज़रूरत और मुफ़्त टियर के डेटा पर ट्रेनिंग के बारे में क्या प्रकाशित करते हैं, हर मान के स्रोत और तारीख़ के साथ।

आप सबसे पहले किन सीमाओं से टकराएँगे? (सवाल 5 से 7)

  1. प्रति मिनट अनुरोध और कॉन्करेंसी की सीमाएँ क्या हैं? कॉन्करेंसी (एक साथ चल रहे अनुरोध) ही पैरेलल एजेंट और बैच जॉब को रोकती है। रेट लिमिट और कॉन्करेंसी देखें, और रेट लिमिट कैलकुलेटर से अपने ट्रैफ़िक को सीमा के हिसाब से आँकें।
  2. क्या कोई टोकन कैप, रोलिंग विंडो या साप्ताहिक कोटा है? “अनलिमिटेड” प्लान में अक्सर होता है। पढ़ें अनलिमिटेड का असली मतलब क्या है।
  3. कॉन्टेक्स्ट विंडो कितनी है, और क्या उसे छोटा किया जाता है? प्रति अनुरोध असली अधिकतम सीमा जाँचें, और यह भी कि प्रोवाइडर चुपचाप लंबे प्रॉम्प्ट तो नहीं काटता।

आपके कोड के साथ यह कितना कम्पैटिबल है? (सवाल 8 से 10)

  1. क्या यह OpenAI-compatible है, और किस हद तक? base URL बदलने से काम चल जाना चाहिए। फिर usage के साथ स्ट्रीमिंग, टूल कॉल, स्ट्रक्चर्ड आउटपुट और एरर कोड टेस्ट करें। माइग्रेशन चेकलिस्ट बताती है कि क्या टूटता है।
  2. क्या यह मेरे टूल के साथ चलता है? SDK, एजेंट फ़्रेमवर्क, IDE असिस्टेंट। प्रोवाइडर के इंटीग्रेशन गाइड देखें।
  3. क्या मॉडल ID स्थिर हैं? आपको वर्ज़न वाले ID चाहिए, और किसी मॉडल के हटाए जाने से पहले सूचना।

आपके डेटा का क्या होता है? (सवाल 11 से 13)

  1. क्या प्रॉम्प्ट और आउटपुट स्टोर होते हैं, और कितने समय तक? कई प्रोवाइडर डिफ़ॉल्ट रूप से API कंटेंट 30 दिन तक रखते हैं। आधिकारिक शब्दों की तुलना LLM API डेटा रिटेंशन की तुलना में करें।
  2. क्या मेरा डेटा ट्रेनिंग में इस्तेमाल होता है? अपने टियर का डिफ़ॉल्ट लिखित में जाँचें।
  3. क्या मैं DPA साइन कर सकता हूँ, सबप्रोसेसर देख सकता हूँ और key पर पाबंदी लगा सकता हूँ? अगर आप EU का व्यक्तिगत डेटा प्रोसेस करते हैं, तो GDPR चेकलिस्ट इस्तेमाल करें, और IP allow-list माँगें।

क्या इसमें आपके ज़रूरी मॉडल हैं? (सवाल 14 से 16)

  1. क्या प्रोवाइडर के पास मेरी ज़रूरत के मॉडल साइज़ और क्षमताएँ हैं? विज़न, टूल कॉलिंग, रीज़निंग, लंबा कॉन्टेक्स्ट, स्पीच।
  2. हर मॉडल मेरे कामों पर कैसा करता है? 30 से 50 असली टेस्ट केस बनाएँ और उन्हें स्कोर करें। बेंचमार्क पहला फ़िल्टर हैं; LLM की तुलना कहाँ करें में लीडरबोर्ड की सूची है और यह भी कि हर एक क्या मापता है। मूल्यांकन गाइड बताता है कि सेट कैसे बनाएँ और जज के पक्षपात से कैसे बचें।
  3. ओपन-वेट या क्लोज़्ड? ओपन-वेट मॉडल कई प्रोवाइडर होस्ट कर सकते हैं, जिससे लॉक-इन कम होता है। देखें ओपन-वेट बनाम क्लोज़्ड मॉडल।

क्या यह चालू रहेगा, और जवाब कौन देगा? (सवाल 17 से 20)

  1. क्या स्टेटस पेज और घटनाओं का इतिहास है?
  2. क्या प्रोडक्शन के लिए लिखित SLA है?
  3. GPU कौन चलाता है? अपना हार्डवेयर, कोई क्लाउड, या किसी दूसरे API से दोबारा बेची गई क्षमता। हर एक आपके डेटा और भरोसेमंदी के रास्ते में एक और पक्ष जोड़ता है।
  4. किसी इंसान तक कैसे पहुँचूँ? जवाब का समय, चैनल, और क्या सपोर्ट आपके अनुरोध का कंटेंट देख सकता है।

प्रोवाइडर को आपस में कैसे स्कोर करें?

हर सवाल को 0 (नहीं या पता नहीं), 1 (आंशिक) या 2 (हाँ, लिखित में) अंक दें। अपने इस्तेमाल के हिसाब से समूहों को वज़न दें:

समूह सवाल एजेंट के लिए वज़न रेगुलेटेड ऐप के लिए वज़न
कीमत 1 से 4 ज़्यादा मध्यम
सीमाएँ 5 से 7 ज़्यादा मध्यम
कम्पैटिबिलिटी 8 से 10 मध्यम मध्यम
प्राइवेसी 11 से 13 मध्यम ज़्यादा
मॉडल 14 से 16 ज़्यादा ज़्यादा
सपोर्ट और भरोसेमंदी 17 से 20 मध्यम ज़्यादा

“पता नहीं” को 0 अंक देने की एक वजह है: अगर प्रोवाइडर जवाब नहीं दे सकता, तो आप उस पर भरोसा नहीं कर सकते।

एक हफ़्ते में प्रोवाइडर को कैसे टेस्ट करें?

  1. स्कोरिंग शीट से अपने टॉप दो प्रोवाइडर चुनें।
  2. एक ही OpenAI SDK के ज़रिए असली ट्रैफ़िक का एक हिस्सा हर एक पर भेजें, मॉडल ID और base URL कॉन्फ़िग में रखकर।
  3. हर अनुरोध पर लॉग करें: मॉडल, प्रॉम्प्ट टोकन, कैश्ड टोकन, completion टोकन, लेटेंसी, स्टेटस कोड। कंटेंट कभी लॉग न करें।
  4. अपना पीक लोड चलाएँ: बैच जॉब या पैरेलल एजेंट चलाएँ, और 429 पर नज़र रखें। एरर और रीट्राई गाइड सही back-off बताता है।
  5. हफ़्ते के टोकन को लगभग 4.3 से गुणा करें और हर प्रोवाइडर के लिए महीने की कीमत निकालें।
  6. अपने टेस्ट सेट पर आउटपुट को स्कोर करें।

BroadNet Inference इस चेकलिस्ट का कैसे जवाब देता है

# BroadNet Inference
1, 4 प्रति-टोकन कीमतें pricing.json में प्रकाशित, 2026-11-14 को सिंक
3 DeepSeek V4.1 Flash के फ़्लैट प्लान: प्रति सेशन $60 प्रति माह, $15 प्रति हफ़्ता या $1 प्रति घंटा
5 उपयोग के अनुसार भुगतान: प्रति मिनट 30 अनुरोध, एक साथ 4 चालू अनुरोध; प्लान के सेशन एक समय में एक अनुरोध चलाते हैं
6 प्लान: न टोकन मीटर, न रोलिंग विंडो, न साप्ताहिक कैप
7 DeepSeek V4.1 Flash और GLM 5.3 पर 1,048,576 टोकन तक; प्लान पेज के मुताबिक़ कॉन्टेक्स्ट कभी छोटा नहीं किया जाता
8 https://inference.broadnet.ai/v1 पर OpenAI-compatible
11, 12 कोई प्रॉम्प्ट या आउटपुट रखा नहीं जाता; मॉडल की ट्रेनिंग, फ़ाइन-ट्यूनिंग या मूल्यांकन में इस्तेमाल नहीं होता
13 32 एंट्री तक की IP allow-list; माँगने पर सबप्रोसेसर की सूची; DPA के लिए पूछें
14 चार चैट मॉडल और दो स्पीच-टू-टेक्स्ट मॉडल
19 BroadNet का privacy statement कहता है कि उसके अपने और होस्ट किए open-weight मॉडल अमेरिका में BroadNet के अपने या लीज़ पर लिए हार्डवेयर पर चलते हैं, बैकअप के रूप में पार्टनर की क्षमता के साथ; पार्टनर से चलने वाले मॉडल, जैसे DeepSeek V4.1 Flash, अमेरिकी इन्फ़रेंस पार्टनर के साथ ZDR शर्तों पर चलते हैं

BroadNet के डॉक्स या प्लान पेज में हमें जो नहीं मिला (14 नवंबर 2026 को जाँचा गया): SLA, स्टेटस पेज या मॉडल हटाने की नीति। अगर ये आपके लिए मायने रखते हैं, तो इनके बारे में पूछें, और ज़रूरी रास्तों के लिए एक दूसरा प्रोवाइडर रखें। कैटलॉग भी किसी एग्रीगेटर से छोटा है: अगर आपको GPT, Claude या Gemini मॉडल चाहिए, तो उस ट्रैफ़िक के लिए BroadNet सही प्रोवाइडर नहीं है। $5 का शुरुआती क्रेडिट हल्के वर्कलोड पर टेस्ट प्लान के तीसरे चरण के लिए काफ़ी है, लेकिन उसके दायरे वाले चैट मॉडल में सिर्फ़ Gemma 4 VL 26B पर (यह दोनों Transcribe मॉडल भी कवर करता है); बाक़ी चैट मॉडल के लिए टॉप-अप चाहिए।

अक्सर पूछे जाने वाले सवाल

LLM API प्रोवाइडर में मुझे क्या देखना चाहिए?

आपके वर्कलोड की कुल लागत, रेट और कॉन्करेंसी की सीमाएँ, OpenAI कम्पैटिबिलिटी, डेटा रिटेंशन और ट्रेनिंग की शर्तें, ज़रूरी मॉडल और कॉन्टेक्स्ट साइज़, और सपोर्ट व भरोसेमंदी। हर एक को स्कोर करें, फिर असली ट्रैफ़िक के साथ टेस्ट करें।

क्या सबसे सस्ता LLM API ही सबसे अच्छा विकल्प है?

हमेशा नहीं। कैश्ड इनपुट की कीमतें, रीज़निंग टोकन, रेट लिमिट की वजह से रीट्राई और कमी वाले फ़ीचर का जुगाड़ करने में लगा इंजीनियरिंग समय, कम लिस्ट-प्राइस पर भारी पड़ सकते हैं। अपने असली वर्कलोड का मासिक बिल तुलना करें।

LLM API में वेंडर लॉक-इन से कैसे बचूँ?

स्टैंडर्ड SDK के ज़रिए OpenAI-compatible API इस्तेमाल करें, मॉडल ID और base URL कॉन्फ़िगरेशन में रखें, अपने मुख्य रास्ते में सिर्फ़ एक प्रोवाइडर वाले फ़ीचर से बचें, और एक टेस्ट किया हुआ दूसरा प्रोवाइडर तैयार रखें।

फ़ैसला करने से पहले LLM API को कितने दिन टेस्ट करूँ?

टोकन उपयोग, कैश हिट रेट, लेटेंसी, एरर रेट और रेट लिमिट का व्यवहार देखने के लिए लगभग एक हफ़्ते का असली ट्रैफ़िक काफ़ी है। महीने का अनुमान लगाने के लिए हफ़्ते को लगभग 4.3 से गुणा करें।

LLM API प्रोवाइडर को कितना अपटाइम देना चाहिए?

प्रकाशित स्टेटस पेज, घटनाओं का इतिहास और प्रोडक्शन के लिए लिखित SLA माँगें। अगर प्रोवाइडर के पास इनमें से कुछ नहीं है, तो अपने ज़रूरी रास्तों के लिए एक फ़ॉलबैक प्रोवाइडर की योजना बनाएँ।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें