BroadRouter

LLM सेल्फ़-होस्ट करें या API लें: असली लागत और ब्रेक-ईवन

BroadNet Inference टीम · 5 मिनट में पढ़ें · प्रकाशित · अपडेट किया गया

किराए का GPU हर घंटे उतना ही लेता है, चाहे व्यस्त हो या ख़ाली, इसलिए सेल्फ़-होस्टिंग सिर्फ़ ऊँचे और स्थिर उपयोग पर API से सस्ती पड़ती है। घंटे की कीमत को सर्वर के असल में हर घंटे बनाए गए टोकन से भाग दें, इंजीनियरिंग और ऑन-कॉल का समय जोड़ें, और API की प्रति 1M टोकन कीमत से तुलना करें। उतार-चढ़ाव वाले या मामूली ट्रैफ़िक में लगभग हमेशा API जीतता है।

“हम इसे ख़ुद चलाकर पैसे बचाएँगे” LLM लागत की योजना में सबसे आम दावों में से है, और सबसे कम जाँचे जाने वाले दावों में से भी। हिसाब कठिन नहीं है। इसमें एक चर है जिसका अंदाज़ा लोग ग़लत लगाते हैं (उपयोग दर) और एक लागत है जिसे वे छोड़ देते हैं (लोग)। यह पोस्ट फ़ॉर्मूला, किराए की असली कीमतें, और अपनी संख्याओं से इसे चलाने का तरीक़ा देती है।

अभी GPU किराए पर लेने में कितना ख़र्च आता है?

आधिकारिक प्राइसिंग पेजों से घंटे की कीमतें, 2026-11-14 (RunPod) और 2026-11-16 (Lambda) को ली गईं। यहाँ एक महीना 730 घंटे का माना गया है।

GPU प्रोवाइडर और टियर (2026-11-14 को देखा गया) प्रति GPU-घंटा प्रति माह, हमेशा चालू
H100 SXM RunPod Secure Cloud USD 4.39 लगभग USD 3,205
H100 SXM RunPod Community Cloud USD 2.69 लगभग USD 1,964
H100 PCIe RunPod Secure Cloud USD 2.89 लगभग USD 2,110
H200 RunPod Secure Cloud USD 5.29 लगभग USD 3,862
A100 80GB SXM RunPod Secure Cloud USD 2.19 लगभग USD 1,599
L40S RunPod Secure Cloud USD 1.09 लगभग USD 796
H100 SXM Lambda on-demand, 1 से 8 GPU (2026-11-16 से लागू; 2026-11-16 को जाँचा गया) USD 4.59 से 4.89 लगभग USD 3,351 से 3,570

Lambda का पेज (2026-11-16 को जाँचा गया) कहता है कि ये कीमतें 2026-11-16 को 00:00 UTC से लागू हैं; नोड बड़ा होने पर प्रति GPU दर घटती है, 8-GPU नोड पर USD 4.59 तक। RunPod की Community Cloud दरें “from” (से शुरू) वाली कीमतें हैं, जो होस्ट के हिसाब से बदलती हैं। Secure और Community Cloud होस्टिंग के अलग टियर हैं, इसलिए अगर डेटा सँभालने के आपके नियम हैं तो टियर की शर्तें पढ़ें। कई मॉडल को एक से ज़्यादा GPU चाहिए: Secure Cloud दर पर 8-GPU H100 नोड महीने में लगभग USD 25,638 का पड़ता है।

सेल्फ़-होस्टेड लागत प्रति मिलियन टोकन कैसे निकालें?

GPU जिन अनुरोधों को एक साथ बैच कर रहा है, उन सबको मिलाकर किसी कुल दर पर टोकन बनाता है। आपकी प्रति टोकन लागत, घंटे की कीमत को उसके असल में बनाए गए टोकन पर फैलाने से मिलती है:

प्रति 1M टोकन लागत = घंटे की कीमत ÷ (कुल टोकन प्रति सेकंड × 3,600 ÷ 1,000,000) ÷ उपयोग दर

उपयोग दर उन घंटों का हिस्सा है जिनमें GPU उस दर पर उपयोगी काम कर रहा है। मानी गई संख्याओं के साथ एक उदाहरण (यह बेंचमार्क नहीं है: अपना मॉडल ख़ुद मापें):

  • GPU: Community Cloud पर एक H100 SXM, USD 2.69 प्रति घंटा।
  • मान लिया गया कुल आउटपुट: अच्छी बैचिंग के साथ प्रति सेकंड 1,500 टोकन।
  • पूरे लोड पर प्रति घंटे टोकन: 1,500 × 3,600 = 54 लाख (5.4M)।
उपयोग दर प्रति घंटे प्रभावी टोकन प्रति 1M आउटपुट टोकन लागत
100% (हमेशा पूरा भरा) 5.4M USD 0.50
50% 2.7M USD 1.00
25% (सिर्फ़ कामकाजी घंटों में व्यस्त) 1.35M USD 1.99
10% (उतार-चढ़ाव वाला प्रोडक्ट ट्रैफ़िक) 0.54M USD 4.98

अब इसकी तुलना API की प्रति 1M आउटपुट टोकन कीमत से करें। LLM API प्राइसिंग टेबल दिखाती है कि दर्जनों होस्ट उन्हीं ओपन वेट के लिए क्या लेते हैं; BroadNet Inference पर DeepSeek V4.1 Flash प्रति 1M आउटपुट टोकन $0.52 का है और Gemma 4 VL 26B $0.22 का। वह पंक्ति ढूँढें जहाँ आपकी सेल्फ़-होस्टेड लागत API की कीमत से नीचे आ जाती है: वही आपकी ब्रेक-ईवन उपयोग दर है। उदाहरण इनपुट टोकन को नज़रअंदाज़ करता है, जो भी GPU का समय लेते हैं (prefill), इसलिए असली सेल्फ़-होस्टेड लागत टेबल से ज़्यादा होती है।

ब्रेक-ईवन के लिए हर महीने कितने टोकन चाहिए?

इसे उलटकर देखें। चालू छोड़ा गया GPU हर हाल में अपनी मासिक कीमत लेता है। API की लागत है टोकन × कीमत। ब्रेक-ईवन वॉल्यूम:

ब्रेक-ईवन के लिए मासिक टोकन = GPU की मासिक लागत ÷ API की प्रति 1M टोकन कीमत × 1,000,000

Community Cloud के एक H100 (लगभग USD 1,964 प्रति माह) की तुलना $0.52 प्रति 1M आउटपुट कीमत से करनी हो, तो 1,964 को उस कीमत से भाग दें: इससे वे मिलियन आउटपुट टोकन प्रति माह मिलते हैं जिनकी जगह लेने के बाद ही GPU अपनी कीमत वसूल करता है। अगर आपका वर्कलोड इनपुट-भारी है, जैसा एजेंट का आम तौर पर होता है, तो यही हिसाब इनपुट और आउटपुट की मिली-जुली कीमत से करें; फ़्लैट रेट बनाम प्रति टोकन वाली पोस्ट दिखाती है कि दोनों को कैसे मिलाएँ।

और उस GPU को असल में मॉडल सर्व करना होगा। अगर मॉडल को चार GPU चाहिए, तो भाग देने से पहले मासिक लागत को चार से गुणा करें।

लोग कौन-सी लागतें छोड़ देते हैं?

लागत इसमें क्या आता है इसे कैसे गिनें
इंजीनियरिंग सेटअप सर्विंग इंजन, quantization का चुनाव, ऑटोस्केलिंग, लोड टेस्ट एक बार के घंटे × आपकी दर
लगातार ऑपरेशन अपग्रेड, ड्राइवर और इंजन अपडेट, मॉडल रीफ़्रेश हर महीने के घंटे × आपकी दर
ऑन-कॉल नोड बंद होने पर किसी को जागना पड़ता है आपकी ऑन-कॉल नीति
रिडंडेंसी दूसरा नोड, ताकि एक ख़राबी आउटेज न बने GPU वाली लाइन दोगुनी
ख़ाली अतिरिक्त क्षमता पीक के लिए क्षमता जिसे चालू रखना पड़ता है उपयोग दर घटाती है
इवैल्युएशन बदलने से पहले नए मॉडल वर्ज़न की जाँच हर रिलीज़ पर घंटे

रिडंडेंसी वह लागत है जो जवाब को सबसे ज़्यादा बदलती है। एक GPU विफलता का इकलौता बिंदु है। दो GPU रातोंरात आपकी उपयोग दर आधी कर देते हैं। हर अपग्रेड के साथ आने वाले eval काम के लिए बदलने से पहले मॉडल का इवैल्युएशन देखें।

सेल्फ़-होस्टिंग कब सही फ़ैसला है?

  • स्थिर, ऊँचा वॉल्यूम। बैच पाइपलाइन जो GPU को चौबीसों घंटे पूरा व्यस्त रखती हैं।
  • डेटा को आपके नेटवर्क के अंदर ही रहना है। यह सख़्त ज़रूरत है, लागत का तर्क नहीं। पहले जाँचें कि ज़ीरो डेटा रिटेंशन वाला कोई API आपके नियमों पर खरा उतरता है या नहीं।
  • ऐसा मॉडल जो कोई API नहीं देता। आपका अपना फ़ाइन-ट्यून या कोई ख़ास ओपन-वेट मॉडल।
  • गारंटीड क्षमता। आपको इतना थ्रूपुट चाहिए जो API की रेट लिमिट नहीं देंगी।

बाक़ी सब के लिए, ख़ासकर उतार-चढ़ाव वाले ट्रैफ़िक, शुरुआती प्रोडक्ट और रुक-रुककर चलने वाले एजेंट के लिए, API सस्ता है और उसमें ऑन-कॉल रोस्टर नहीं चाहिए।

क्या GPU और प्रति टोकन बिलिंग के बीच फ़्लैट कीमत वाले विकल्प हैं?

GPU किराए पर लेने और प्रति टोकन भुगतान के बीच एक बीच का रास्ता है। BroadNet, Gemma 4 VL 26B के लिए $0.50 प्रति घंटा की घंटे वाली key बेचता है (एक स्ट्रीम, प्रति मिनट 120 अनुरोध, प्रति मिनट 300,000 टोकन), जो पूरा महीना चलाने पर $360.00 होती है। यह DeepSeek V4.1 Flash के लिए $60 प्रति माह पर अनलिमिटेड प्लान सेशन भी बेचता है, जिनमें से हर एक लगभग 100 टोकन प्रति सेकंड पर एक समय में एक अनुरोध चलाता है। इनसे किराए के GPU की तरह अनुमान लगाने लायक बिल मिलता है, बिना सेटअप या ऑपरेशन के, लेकिन पूरे GPU की बैच क्षमता के बजाय हर key या सेशन पर तय कॉन्करेंसी के साथ।

BroadNet Inference कहाँ फ़िट होता है

इस तुलना में BroadNet Inference, API वाला पक्ष है: ओपन-वेट मॉडल के लिए प्रति टोकन कीमतें, फ़्लैट प्लान और घंटे वाली key, एक OpenAI-compatible API के पीछे; इनमें से कुछ मॉडल अमेरिकी इन्फ़रेंस पार्टनर होस्ट करते हैं। यह उन टीमों के लिए ठीक है जिनके ट्रैफ़िक में किराए का GPU दिन का बड़ा हिस्सा ख़ाली रहता, या जो इन्फ़रेंस इंफ़्रास्ट्रक्चर ख़ुद नहीं चलाना चाहतीं। अगर आपको कस्टम फ़ाइन-ट्यून सर्व करवाना है, ऑन-प्रिमाइसेस डिप्लॉयमेंट चाहिए, या एक key पर सैकड़ों समानांतर अनुरोध चाहिए, तो यह ठीक नहीं बैठता। अपनी संख्याएँ LLM API कॉस्ट कैलकुलेटर में डालें और ऊपर की टेबल से तुलना करें। अगर आप अभी ओपन और क्लोज़्ड मॉडल के बीच चुन रहे हैं, तो ओपन-वेट बनाम क्लोज़्ड मॉडल API लागत हर प्रोवाइडर के अपने पेज से प्रति टोकन कीमतों की तुलना करती है। सेल्फ़-होस्टिंग बनाम API कैलकुलेटर आपके मापे गए थ्रूपुट और इन GPU कीमतों से पूरा ब्रेक-ईवन निकाल देता है।

अक्सर पूछे जाने वाले सवाल

क्या LLM सेल्फ़-होस्ट करना API इस्तेमाल करने से सस्ता है?

सिर्फ़ ऊँचे और स्थिर वॉल्यूम पर। किराए का GPU हर घंटे का बिल बनाता है; API सिर्फ़ इस्तेमाल हुए टोकन का। अगर आपका GPU दिन का ज़्यादातर समय ख़ाली बैठा रहेगा, तो इंजीनियरिंग का समय गिनने से पहले ही API सस्ता है।

H100 का एक घंटे का किराया कितना है?

2026-11-14 को RunPod के प्राइसिंग पेज पर H100 SXM, Secure Cloud पर USD 4.39 प्रति घंटा और Community Cloud पर USD 2.69 से शुरू था। Lambda, 2026-11-16 से लागू कीमतों पर, on-demand H100 SXM को नोड के आकार के हिसाब से USD 4.59 से 4.89 प्रति GPU-घंटा दिखाता है। मौजूदा दरों के लिए पेज देखें।

बड़ा मॉडल सेल्फ़-होस्ट करने के लिए कितने GPU चाहिए?

कम से कम इतनी मेमोरी कि वेट और आपके एक साथ चलने वाले अनुरोधों का KV cache समा जाए। बड़े mixture-of-experts मॉडल को आम तौर पर कई GPU वाला नोड चाहिए। पैरामीटर की संख्या और सुझाया गया सेटअप मॉडल कार्ड में देखें।

महँगा होने पर भी सेल्फ़-होस्टिंग कब सही है?

जब डेटा आपके नेटवर्क से बाहर नहीं जा सकता, जब आपको ऐसा फ़ाइन-ट्यून किया हुआ या कस्टम मॉडल चाहिए जो कोई API नहीं देता, या जब आपको गारंटीड क्षमता चाहिए। ये नियंत्रण की वजहें हैं, लागत की नहीं।

अपने GPU का असली थ्रूपुट कैसे मापूँ?

vLLM या SGLang जैसे सर्विंग इंजन के साथ अपने असली प्रॉम्प्ट अपनी असली कॉन्करेंसी पर चलाएँ, और सभी अनुरोधों को मिलाकर प्रति सेकंड कुल आउटपुट टोकन दर्ज करें। वेंडर के पीक आँकड़े आदर्श बैचिंग मानकर चलते हैं।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें