रेट लिमिट समय के साथ अनुरोध गिनती है। कॉन्करेंसी एक पल में चल रहे अनुरोध गिनती है। LLM अनुरोधों में कई सेकंड लग सकते हैं, इसलिए अक्सर दूसरी सीमा पहले आड़े आती है।
यह कैसे काम करता है
Little’s law इन तीन संख्याओं को जोड़ता है:
requests in flight = request rate × average time per request
यानी: एक साथ चल रहे अनुरोध = अनुरोध की दर × हर अनुरोध का औसत समय।
एक काल्पनिक key लें जो एक साथ 5 अनुरोध और एक मिनट में 60 अनुरोध की इजाज़त देती है, और हर अनुरोध 20 सेकंड लेता है। कॉन्करेंसी सीमा ज़्यादा से ज़्यादा 5 ÷ 20 = 0.25 अनुरोध प्रति सेकंड, यानी 15 प्रति मिनट की इजाज़त देती है। आप कभी 60 प्रति मिनट तक नहीं पहुँचते, क्योंकि असली रोक कॉन्करेंसी है। 2 सेकंड वाले अनुरोधों पर वही सीमा 150 प्रति मिनट की इजाज़त देती है, और तब रेट लिमिट रोक बनती है। रेट लिमिट कैलकुलेटर आपकी अपनी संख्याओं पर यही हिसाब लगाता है।
लंबे आउटपुट, रीज़निंग टोकन और लंबे प्रॉम्प्ट, तीनों अनुरोध को लंबा बनाते हैं, इसलिए कॉन्करेंसी जल्दी भर जाती है। स्ट्रीम किया गया जवाब ख़त्म होने तक अपना स्लॉट घेरे रहता है।
यह क्यों मायने रखता है
प्रोवाइडर कॉन्करेंसी सीमित रखते हैं क्योंकि GPU मेमोरी और कंप्यूट साझा होते हैं। NVIDIA के बेंचमार्क दिखाते हैं कि सर्वर पर कॉन्करेंसी बढ़ने के साथ कुल आउटपुट बढ़ता है, जबकि हर अनुरोध के टोकन प्रति सेकंड घटते हैं। हर key पर सीमा एक क्लाइंट को बाक़ी सबको धीमा करने से रोकती है।
आपके ऐप के लिए कॉन्करेंसी तय करती है कि वर्कर पूल कितना बड़ा हो और कितने एजेंट साथ-साथ चल सकें। पूल का आकार सीमा के बराबर रखें, उससे ज़्यादा नहीं, वरना अतिरिक्त वर्कर बस 429 एरर इकट्ठा करेंगे।
BroadNet Inference पर
| एक्सेस | कॉन्करेंसी |
|---|---|
| उपयोग के अनुसार भुगतान वाली key | एक साथ 4 अनुरोध, और प्रति मिनट 30 अनुरोध |
| घंटे वाली key | एक स्ट्रीम |
| अनलिमिटेड प्लान | हर सेशन में एक समय पर एक अनुरोध |
प्लान सीधे कॉन्करेंसी बेचते हैं। सेशन में कोई टोकन मीटर नहीं होता और वह एक समय पर एक अनुरोध चलाता है, जैसे एक एजेंट काम करता है। एक ही सेशन के अनुरोध एक-दूसरे के पीछे क़तार में लगते हैं। एजेंट समानांतर चलाने हों तो हर एजेंट के लिए एक सेशन ख़रीदें: एक ऑर्केस्ट्रेटर और तीन सब-एजेंट को चार सेशन चाहिए। एक key में कई सेशन हो सकते हैं।
अनलिमिटेड सेशन कैसे काम करते हैं और फ़्लैट रेट पर समानांतर कोडिंग एजेंट कैसे चलाएँ पढ़ें। एजेंट अपना काफ़ी समय टूल चलाने में बिताते हैं, इसलिए और सेशन ख़रीदने से पहले असली ओवरलैप नापें।
आम ग़लतियाँ
- बिना पूल के हर टास्क के लिए एक वर्कर चालू करना। 100 टास्क का बैच एक साथ 100 अनुरोध बन जाता है।
- क्लाइंट टाइमआउट को लंबे रीज़निंग जवाब से छोटा रखना। स्लॉट अभी व्यस्त होता है और क्लाइंट हार मान लेता है।