---
title: "सर्वरलेस इन्फ़रेंस क्या है? पे-पर-यूज़ मॉडल होस्टिंग"
description: "सर्वरलेस इन्फ़रेंस मॉडल को ऐसे एंडपॉइंट के पीछे चलाता है जो ट्रैफ़िक के साथ स्केल होता है, ज़ीरो तक, और सिर्फ़ इस्तेमाल का बिल लेता है। कोल्ड स्टार्ट, दाम, तुलना।"
url: https://broadrouter.com/hi/glossary/serverless-inference/
lang: hi
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

यह पेज अंग्रेज़ी से AI की मदद से अनुवाद किया गया है। [अंग्रेज़ी मूल पढ़ें](https://broadrouter.com/glossary/serverless-inference/) (2026-11-16 को अपडेट किया गया).

# सर्वरलेस इन्फ़रेंस (serverless inference)

अपडेट किया गया 2026-11-16

सर्वरलेस इन्फ़रेंस मशीन लर्निंग मॉडल चलाने का ऐसा तरीका है जिसमें प्लेटफ़ॉर्म एंडपॉइंट के पीछे का कंप्यूट अपने आप शुरू, स्केल और बंद करता है, अक्सर खाली रहने पर ज़ीरो तक, और रिज़र्व मशीनों के बजाय इस्तेमाल का बिल लेता है। इसकी क़ीमत संभावित कोल्ड-स्टार्ट देरी है।

अन्य नाम: सर्वरलेस इन्फ़रेंस, सर्वरलेस LLM, स्केल टू ज़ीरो, serverless inference kya hai, serverless LLM, serverless model endpoint, scale to zero, serverless GPU inference

सर्वरलेस का मतलब यह नहीं कि सर्वर नहीं हैं। मतलब यह है कि आप उन्हें कभी नहीं देखते, और अनुरोध भेजना बंद करते ही भुगतान भी बंद हो जाता है।

## यह कैसे काम करता है

AWS की SageMaker गाइड इसका साफ़ रेफ़रेंस संस्करण देती है। सर्वरलेस एंडपॉइंट “automatically launch compute resources and scale them in and out depending on traffic” (अनुवाद: ट्रैफ़िक के हिसाब से कंप्यूट रिसोर्स अपने आप शुरू करते हैं और उन्हें घटाते-बढ़ाते हैं), और जब कोई अनुरोध नहीं होता तो सर्विस “scales your endpoint down to 0” (अनुवाद: आपके एंडपॉइंट को 0 तक घटा देती है)। आप इंस्टेंस के बजाय इस्तेमाल के हिसाब से भुगतान करते हैं।

ज़ीरो तक स्केल होने की क़ीमत है **कोल्ड स्टार्ट**। अगर एंडपॉइंट खाली पड़ा रहा हो और अनुरोध आए, तो “it can take some time for your endpoint to spin up the compute resources” (अनुवाद: आपके एंडपॉइंट को कंप्यूट रिसोर्स शुरू करने में कुछ समय लग सकता है)। लार्ज लैंग्वेज मॉडल में दसियों गीगाबाइट वेट लोड करने से यह देरी और बढ़ जाती है। आम इलाज है कुछ क्षमता को पैसे देकर गर्म रखना; AWS इसे provisioned concurrency कहता है और इसका बिल मेमोरी, अवधि और concurrency के हिसाब से लेता है।

फ़ीचर हर प्लेटफ़ॉर्म पर अलग हैं। SageMaker Serverless Inference में जो चीज़ें नहीं हैं, AWS की उस अपनी सूची में GPU भी शामिल है, इसलिए LLM जितनी बड़ी सर्वरलेस होस्टिंग आम तौर पर दूसरे प्लेटफ़ॉर्म से आती है। Hugging Face अपने Inference Providers को कई प्रोवाइडर्स पर एक ही टोकन से “serverless inference of models” (अनुवाद: मॉडलों का सर्वरलेस इन्फ़रेंस) इस्तेमाल करने का तरीका बताता है।

## यह क्यों मायने रखता है

|  | सर्वरलेस एंडपॉइंट | किराए का GPU ([GPU-घंटा](https://broadrouter.com/hi/glossary/gpu-hour/)) | शेयर्ड प्रति-टोकन API |
| --- | --- | --- | --- |
| खाली समय में भुगतान | नहीं (जब तक गर्म न रखा जाए) | हाँ | नहीं |
| कोल्ड स्टार्ट | संभव | नहीं, चलने के बाद | लिस्टेड मॉडलों पर कम ही |
| आपका अपना मॉडल | हाँ | हाँ | सिर्फ़ जो प्रोवाइडर लिस्ट करे |
| स्केलिंग का काम | प्लेटफ़ॉर्म | आप | प्रोवाइडर |

सर्वरलेस अपने मॉडल के साथ उतार-चढ़ाव वाले या कम ट्रैफ़िक के लिए ठीक है। लगातार, भारी लोड आम तौर पर रिज़र्व हार्डवेयर पर सस्ता पड़ता है। कोल्ड स्टार्ट औसत में नहीं, लंबी [लेटेंसी](https://broadrouter.com/hi/glossary/latency/) टेल में दिखते हैं, इसलिए p95 जाँचें।

## BroadNet Inference पर

BroadNet अपने API को सर्वरलेस नहीं कहता, और उसके डॉक्स कोल्ड स्टार्ट के बारे में कुछ नहीं कहते। व्यवहार में उसकी [पे-एज़-यू-गो](https://broadrouter.com/hi/glossary/pay-as-you-go/) keys में वे सर्वरलेस ख़ूबियाँ हैं जो कॉल करने वाले के लिए मायने रखती हैं: कोई इंस्टेंस चुनना नहीं, कुछ स्केल करना नहीं, और बिलिंग प्रति टोकन या प्रति ऑडियो मिनट। सीमाएँ मशीन के बजाय key पर हैं: प्रति मिनट 30 अनुरोध और एक साथ 4 चालू अनुरोध। आप सिर्फ़ वही मॉडल कॉल कर सकते हैं जो BroadNet लिस्ट करता है, जैसे [Qwen3.8 27B](https://broadrouter.com/hi/models/qwen3.8-27b/); प्राइवेट एंडपॉइंट और दूसरे मॉडल अनुरोध पर मिलते हैं। [curl से पहला अनुरोध](https://broadrouter.com/hi/guides/curl-quickstart/) आज़माने में एक मिनट लगता है।

## अक्सर पूछे जाने वाले सवाल

### सर्वरलेस इन्फ़रेंस में कोल्ड स्टार्ट क्या है?

वह देरी जब ज़ीरो तक स्केल-डाउन हो चुके एंडपॉइंट को अनुरोध मिलता है और उसे पहले कंप्यूट शुरू करके मॉडल लोड करना पड़ता है। AWS के SageMaker डॉक्स इसका वर्णन करते हैं और फ़ीस लेकर क्षमता गर्म रखने के लिए provisioned concurrency देते हैं।

### क्या प्रति-टोकन LLM API सर्वरलेस है?

कॉल करने वाले की नज़र से, ज़्यादातर हाँ। आप अनुरोध भेजते हैं, प्रति टोकन भुगतान करते हैं और कोई सर्वर नहीं संभालते। फ़र्क़ यह है कि शेयर्ड API लोकप्रिय मॉडलों को कई ग्राहकों के लिए लोड रखता है, इसलिए आम तौर पर आपको अपने मॉडल के शुरू होने का इंतज़ार नहीं करना पड़ता।

### क्या सर्वरलेस इन्फ़रेंस डेडिकेटेड GPU से सस्ता है?

उतार-चढ़ाव वाले या कम ट्रैफ़िक के लिए आम तौर पर हाँ, क्योंकि खाली समय में भुगतान रुक जाता है। लगातार भारी लोड के लिए रिज़र्व GPU अक्सर प्रति अनुरोध सस्ता पड़ता है। अपने ट्रैफ़िक पैटर्न की दोनों कीमतों से तुलना करें।

## यह भी देखें

-   [इन्फ़रेंस प्रोवाइडर (inference provider)](https://broadrouter.com/hi/glossary/inference-provider/) (शब्द)
-   [GPU-घंटा (GPU-hour)](https://broadrouter.com/hi/glossary/gpu-hour/) (शब्द)
-   [उपयोग के अनुसार भुगतान (pay-as-you-go)](https://broadrouter.com/hi/glossary/pay-as-you-go/) (शब्द)
-   [लेटेंसी (latency)](https://broadrouter.com/hi/glossary/latency/) (शब्द)
-   [कॉन्करेंसी (concurrency)](https://broadrouter.com/hi/glossary/concurrency/) (शब्द)
-   [curl से BroadNet Inference को पहला अनुरोध](https://broadrouter.com/hi/guides/curl-quickstart/) (गाइड)
-   [LLM सेल्फ़-होस्ट करें या API लें: असली लागत और ब्रेक-ईवन](https://broadrouter.com/hi/blog/self-hosting-llm-vs-api-cost/) (लेख)
-   [LLM API की कीमत कैसे तय होती है: इनपुट, कैश्ड, आउटपुट और रीज़निंग](https://broadrouter.com/hi/blog/llm-api-pricing-explained/) (लेख)

इसे अपने असली वर्कलोड पर आज़माएँ। नए अकाउंट Gemma और ट्रांसक्रिप्शन के लिए US$5 के क्रेडिट से शुरू होते हैं। DeepSeek, GLM, और Qwen3.8 के लिए टॉप-अप ज़रूरी है।

[शुरू करें](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=hi-glossary-serverless-inference&utm_content=page-cta) ·

**स्रोत**

-   [AWS, Amazon SageMaker Serverless Inference डेवलपर गाइड (जाँच: 2026-11-16)](https://docs.aws.amazon.com/sagemaker/latest/dg/serverless-endpoints.html)
-   [Hugging Face, Inference Providers डॉक्यूमेंटेशन (सर्वरलेस इन्फ़रेंस) (जाँच: 2026-11-16)](https://huggingface.co/docs/inference-providers/index)
-   [BroadNet Inference API रेफ़रेंस, सीमाएँ (जाँच: 2026-11-16) (अंग्रेज़ी में)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=hi-glossary-serverless-inference&utm_content=sources#limits)
