TTFT कुछ भी होने से पहले का ठहराव है। चैट विंडो में यह ख़ाली स्क्रीन है; वॉइस बॉट में यह सन्नाटा है।
यह कैसे काम करता है
NVIDIA की बेंचमार्किंग गाइड TTFT को तीन हिस्सों में बाँटती है: “request queuing time, prefill time, and network latency” (अनुवाद: अनुरोध के कतार में रहने का समय, prefill का समय और नेटवर्क लेटेंसी)। हर हिस्से का अपना कारण है:
| हिस्सा | इसे क्या बढ़ाता है | आप क्या बदल सकते हैं |
|---|---|---|
| नेटवर्क | दूरी, TLS सेटअप, प्रॉक्सी | कनेक्शन दोबारा इस्तेमाल करें; नज़दीकी रीजन से कॉल करें |
| कतार | सर्वर कितना व्यस्त है | कम भीड़ वाले समय पर चलाएँ, कम लोड वाला मॉडल या टियर चुनें |
| Prefill | प्रॉम्प्ट की लंबाई, मॉडल का आकार | छोटे प्रॉम्प्ट, स्थिर और कैश होने लायक प्रीफ़िक्स |
लंबे इनपुट के लिए आम तौर पर prefill सबसे बड़ा हिस्सा होता है। पहला टोकन बनाने से पहले मॉडल पूरा प्रॉम्प्ट हर लेयर से गुज़ारकर KV cache बनाता है। NVIDIA बताता है कि व्यस्त सर्वर पर एक अनुरोध का prefill दूसरे के जनरेशन के साथ चल सकता है, इसलिए TTFT दूसरों के ट्रैफ़िक के साथ भी बदलता है।
आँकड़े पढ़ते समय दो परिभाषाएँ मायने रखती हैं। NVIDIA का AIPerf पहले टोकन को तभी गिनता है जब उसमें कंटेंट हो। Responses API में स्ट्रीमिंग टेक्स्ट के लिए OpenAI की गाइड TTFT को “until you receive the first nonempty response.output_text.delta” (अनुवाद: जब तक आपको पहला ग़ैर-ख़ाली response.output_text.delta न मिले) मापती है। रीज़निंग टोकन के साथ पहला दिखने वाला शब्द पहले बने टोकन से काफ़ी बाद आ सकता है, इसलिए बताएँ कि आपका मतलब किससे है।
यह क्यों मायने रखता है
प्रोडक्ट कितना तेज़ लगता है, यह कच्ची रफ़्तार से ज़्यादा TTFT तय करता है। OpenAI की गाइड कहती है कि “a long prompt can delay the first token, especially when much of the input is new” (अनुवाद: लंबा प्रॉम्प्ट पहले टोकन में देरी कर सकता है, ख़ासकर जब इनपुट का बड़ा हिस्सा नया हो)। यहीं कैश्ड इनपुट टोकन मदद करते हैं। वही गाइड कहती है कि prompt caching “can reuse an eligible exact prefix match” (अनुवाद: योग्य, हूबहू मेल खाने वाले प्रीफ़िक्स को दोबारा इस्तेमाल कर सकती है) और सुझाती है कि कैश हिट के साथ और बिना TTFT की तुलना करें। कैश हुआ प्रीफ़िक्स prefill का कुछ हिस्सा छोड़ देता है, इसलिए दोहराया गया सिस्टम प्रॉम्प्ट सस्ता पड़ता है और जल्दी शुरू हो सकता है।
एजेंट के लिए TTFT हर क़दम पर चुकाना पड़ता है। दो सेकंड के TTFT वाली बीस टूल कॉल, कोई आउटपुट गिनने से पहले ही चालीस सेकंड का इंतज़ार जोड़ देती हैं।
TTFT, एंड-टू-एंड लेटेंसी का एक हिस्सा है। बाक़ी जनरेशन टाइम है, जो टोकन प्रति सेकंड से तय होता है।
BroadNet Inference पर
BroadNet के डॉक्स Server-Sent Events वाली स्ट्रीमिंग बताते हैं, जो data: [DONE] पर ख़त्म होती है; क्लाइंट पर पहला टोकन आप इसी से देखते हैं। DeepSeek V4.1 Flash, GLM 5.3 और Qwen3.8 27B जवाब से पहले रीज़निंग करते हैं, इसलिए पहले दिखने वाले टेक्स्ट तक के समय में सोचने का समय भी शामिल है। BroadNet कोई TTFT आँकड़ा प्रकाशित नहीं करता। टाइमिंग स्क्रिप्ट और p50/p95 रिपोर्टिंग के लिए LLM लेटेंसी: TTFT बनाम टोकन प्रति सेकंड देखें।