स्पीड के दो हिस्से हैं: कुछ भी दिखने में कितना समय लगता है, और उसके बाद टेक्स्ट कितनी तेज़ी से बहता है। टोकन प्रति सेकंड दूसरा हिस्सा नापता है।
यह कैसे काम करता है
NVIDIA के बेंचमार्किंग डॉक्स इससे जुड़ी मेट्रिक्स परिभाषित करते हैं:
- पहले टोकन तक का समय (TTFT): अनुरोध भेजने से पहला टोकन मिलने तक। यह प्रॉम्प्ट की लंबाई के साथ बढ़ता है।
- इंटर-टोकन लेटेंसी (ITL): आउटपुट टोकन के बीच का औसत अंतर।
- प्रति-यूज़र TPS: एक अनुरोध के आउटपुट टोकन को उसके शुरू से अंत तक के समय से भाग देना, इसलिए NVIDIA की परिभाषा में इसमें TTFT शामिल है। कई डैशबोर्ड इसके बजाय पहले टोकन के बाद की डिकोड स्पीड बताते हैं, जैसा यह पेज करता है।
- सिस्टम TPS: एक साथ चल रहे सभी अनुरोधों के कुल आउटपुट टोकन, जिसे थ्रूपुट भी कहते हैं।
ये उलटी दिशाओं में खिंचते हैं। NVIDIA बताता है कि कॉन्करेंसी बढ़ने पर सिस्टम TPS बढ़ता है जबकि प्रति-यूज़र TPS घटता है। प्रोवाइडर का मार्केटिंग आँकड़ा और आपके एक अनुरोध की स्पीड, दोनों ईमानदार होकर भी अलग हो सकते हैं।
एक जवाब का झटपट अनुमान:
total time ≈ TTFT + output tokens ÷ tokens per second
यानी: कुल समय ≈ TTFT + आउटपुट टोकन ÷ टोकन प्रति सेकंड।
उदाहरण के लिए 50 टोकन प्रति सेकंड वाली स्ट्रीम लें: 1,000 टोकन का जवाब पहले टोकन के बाद लगभग 20 सेकंड लेता है। अगर मॉडल 2,000 रीज़निंग टोकन भी लिखता है, तो जवाब शुरू होने से पहले लगभग 40 सेकंड और जोड़ें। पहले टोकन तक का समय इसके ऊपर से आता है।
यह क्यों मायने रखता है
- यूज़र अनुभव. स्ट्रीमिंग टेक्स्ट को आते ही दिखाती है, इसलिए TTFT और TPS तय करते हैं कि जवाब कितना तेज़ लगता है।
- एजेंट थ्रूपुट. कोडिंग एजेंट अगले क़दम से पहले हर जवाब का इंतज़ार करता है। तेज़ आउटपुट का मतलब है प्रति घंटे ज़्यादा क़दम।
- प्लान की सीमाएँ. बिना टोकन मीटर वाले प्लान पर स्पीड ही असली सीमा बन जाती है कि आप कितने टोकन इस्तेमाल कर सकते हैं।
BroadNet Inference पर
BroadNet का प्लान पेज DeepSeek V4.1 Flash के लिए लगभग 100 टोकन प्रति सेकंड की सामान्य स्पीड बताता है। अनलिमिटेड प्लान का एक सेशन एक समय पर एक अनुरोध चलाता है, इसलिए उस स्पीड पर 30 दिन तक लगातार जनरेट करने वाला सेशन लगभग 259 मिलियन आउटपुट टोकन बनाएगा। असली एजेंट पढ़ने, टूल चलाने और इंतज़ार में समय बिताते हैं, इसलिए व्यावहारिक आँकड़ा कम होता है।
प्लान पर कुल थ्रूपुट बढ़ाने के लिए सेशन जोड़ें: समानांतर काम करने वाले हर एजेंट के लिए एक। देखें अनलिमिटेड सेशन कैसे काम करते हैं और समानांतर कोडिंग एजेंट चलाना।
आम ग़लतियाँ
- एक ही अनुरोध पर प्रोवाइडर की तुलना करना। TTFT और TPS को कई अनुरोधों पर, अपने प्रॉम्प्ट आकार के साथ नापें।
- क्लाइंट टाइमआउट सेट करते समय रीज़निंग का समय भूल जाना।