सर्वरलेस का मतलब यह नहीं कि सर्वर नहीं हैं। मतलब यह है कि आप उन्हें कभी नहीं देखते, और अनुरोध भेजना बंद करते ही भुगतान भी बंद हो जाता है।
यह कैसे काम करता है
AWS की SageMaker गाइड इसका साफ़ रेफ़रेंस संस्करण देती है। सर्वरलेस एंडपॉइंट “automatically launch compute resources and scale them in and out depending on traffic” (अनुवाद: ट्रैफ़िक के हिसाब से कंप्यूट रिसोर्स अपने आप शुरू करते हैं और उन्हें घटाते-बढ़ाते हैं), और जब कोई अनुरोध नहीं होता तो सर्विस “scales your endpoint down to 0” (अनुवाद: आपके एंडपॉइंट को 0 तक घटा देती है)। आप इंस्टेंस के बजाय इस्तेमाल के हिसाब से भुगतान करते हैं।
ज़ीरो तक स्केल होने की क़ीमत है कोल्ड स्टार्ट। अगर एंडपॉइंट खाली पड़ा रहा हो और अनुरोध आए, तो “it can take some time for your endpoint to spin up the compute resources” (अनुवाद: आपके एंडपॉइंट को कंप्यूट रिसोर्स शुरू करने में कुछ समय लग सकता है)। लार्ज लैंग्वेज मॉडल में दसियों गीगाबाइट वेट लोड करने से यह देरी और बढ़ जाती है। आम इलाज है कुछ क्षमता को पैसे देकर गर्म रखना; AWS इसे provisioned concurrency कहता है और इसका बिल मेमोरी, अवधि और concurrency के हिसाब से लेता है।
फ़ीचर हर प्लेटफ़ॉर्म पर अलग हैं। SageMaker Serverless Inference में जो चीज़ें नहीं हैं, AWS की उस अपनी सूची में GPU भी शामिल है, इसलिए LLM जितनी बड़ी सर्वरलेस होस्टिंग आम तौर पर दूसरे प्लेटफ़ॉर्म से आती है। Hugging Face अपने Inference Providers को कई प्रोवाइडर्स पर एक ही टोकन से “serverless inference of models” (अनुवाद: मॉडलों का सर्वरलेस इन्फ़रेंस) इस्तेमाल करने का तरीका बताता है।
यह क्यों मायने रखता है
| सर्वरलेस एंडपॉइंट | किराए का GPU (GPU-घंटा) | शेयर्ड प्रति-टोकन API | |
|---|---|---|---|
| खाली समय में भुगतान | नहीं (जब तक गर्म न रखा जाए) | हाँ | नहीं |
| कोल्ड स्टार्ट | संभव | नहीं, चलने के बाद | लिस्टेड मॉडलों पर कम ही |
| आपका अपना मॉडल | हाँ | हाँ | सिर्फ़ जो प्रोवाइडर लिस्ट करे |
| स्केलिंग का काम | प्लेटफ़ॉर्म | आप | प्रोवाइडर |
सर्वरलेस अपने मॉडल के साथ उतार-चढ़ाव वाले या कम ट्रैफ़िक के लिए ठीक है। लगातार, भारी लोड आम तौर पर रिज़र्व हार्डवेयर पर सस्ता पड़ता है। कोल्ड स्टार्ट औसत में नहीं, लंबी लेटेंसी टेल में दिखते हैं, इसलिए p95 जाँचें।
BroadNet Inference पर
BroadNet अपने API को सर्वरलेस नहीं कहता, और उसके डॉक्स कोल्ड स्टार्ट के बारे में कुछ नहीं कहते। व्यवहार में उसकी पे-एज़-यू-गो keys में वे सर्वरलेस ख़ूबियाँ हैं जो कॉल करने वाले के लिए मायने रखती हैं: कोई इंस्टेंस चुनना नहीं, कुछ स्केल करना नहीं, और बिलिंग प्रति टोकन या प्रति ऑडियो मिनट। सीमाएँ मशीन के बजाय key पर हैं: प्रति मिनट 30 अनुरोध और एक साथ 4 चालू अनुरोध। आप सिर्फ़ वही मॉडल कॉल कर सकते हैं जो BroadNet लिस्ट करता है, जैसे Qwen3.8 27B; प्राइवेट एंडपॉइंट और दूसरे मॉडल अनुरोध पर मिलते हैं। curl से पहला अनुरोध आज़माने में एक मिनट लगता है।