BroadRouter

Prefill और decode

अपडेट किया गया

Prefill और decode LLM इन्फ़रेंस के दो चरण हैं। Prefill में मॉडल पूरा प्रॉम्प्ट समानांतर रूप से प्रोसेस करके अपना KV cache भरता है; decode में वह उसी cache को दोबारा इस्तेमाल करते हुए जवाब एक-एक टोकन करके बनाता है। Prefill मुख्य रूप से पहले टोकन तक का समय तय करता है; decode आउटपुट की रफ़्तार।

अन्य नाम: प्रीफ़िल, डिकोड, prefill kya hai, prefill aur decode kya hai, prefill, prefill phase, decode phase, prefill stage, prompt processing

एक चैट अनुरोध दो अलग काम करता है: प्रॉम्प्ट पढ़ना, फिर जवाब लिखना। इन्फ़रेंस इंजीनियर इन्हें prefill और decode कहते हैं, और GPU पर दोनों का बर्ताव बहुत अलग है।

यह कैसे काम करता है

  1. Prefill. मॉडल प्रॉम्प्ट का हर टोकन एक समानांतर pass में पढ़ता है और हर टोकन के attention keys और values KV cache में रखता है। अभी कुछ लौटाया नहीं जाता।
  2. Decode. मॉडल एक टोकन बनाता है, उसके keys और values cache में जोड़ता है, और तब तक दोहराता है जब तक रुक न जाए या max_tokens तक न पहुँचे।

Sarathi-Serve पेपर यह फ़र्क़ साफ़ बताता है: “Prefill iterations have high latency but saturate GPU compute due to parallel processing of the input prompt” (अनुवाद: इनपुट प्रॉम्प्ट की समानांतर प्रोसेसिंग के कारण prefill iterations की latency ज़्यादा होती है, पर वे GPU compute को पूरा भर देती हैं), जबकि “decode iterations have low latency but also low compute utilization.” (अनुवाद: decode iterations की latency कम होती है, पर compute का उपयोग भी कम)।

दोनों चरण उन दो latency नंबरों से जुड़ते हैं जो यूज़र महसूस करते हैं। DistServe पेपर उनके नाम देता है: “time to first token (TTFT) for the prefill phase and time per output token (TPOT) of each request for the decoding phase.” (अनुवाद: prefill चरण के लिए पहले टोकन तक का समय (TTFT) और decoding चरण के लिए हर अनुरोध का प्रति आउटपुट टोकन समय (TPOT)।)

एक उदाहरण: 20,000 टोकन के प्रॉम्प्ट और 300 टोकन के जवाब वाला अनुरोध पहला स्ट्रीम हुआ टोकन आने से पहले पूरे 20,000 टोकन का prefill करता है, फिर 300 क्रमिक decode क़दम। प्रॉम्प्ट आधा करने से पहले टोकन का इंतज़ार घटता है; 300 टोकन कितनी तेज़ी से आते हैं, यह नहीं बदलता।

यह क्यों मायने रखता है

  • पहले टोकन तक का समय प्रॉम्प्ट के साइज़ के साथ चलता है. लंबे system prompt, दस्तावेज़ और टूल की सूचियाँ, सब prefill का काम बढ़ाते हैं। Cached prefix इसका कुछ हिस्सा छोड़ देते हैं, इसीलिए cached input टोकन लंबे प्रॉम्प्ट को जल्दी शुरू करा सकते हैं।
  • Tokens per second decode का नंबर है. आउटपुट की रफ़्तार इस पर निर्भर है कि हर decode क़दम कितनी जल्दी चलता है, जिसे speculative decoding बढ़ाने की कोशिश करता है।
  • दोनों चरण एक-दूसरे में दख़ल देते हैं. जब सर्वर दोनों को एक ही GPU पर चलाता है, तो एक बड़ा prefill दूसरे यूज़र्स के decode रोक सकता है। DistServe “strong prefill-decoding interferences” (अनुवाद: prefill और decoding के बीच तेज़ दख़ल) बताता है और दोनों चरणों को अलग GPU पर ले जाता है। Sarathi-Serve इसके बजाय “splits a prefill request into near equal sized chunks” (अनुवाद: prefill अनुरोध को लगभग बराबर साइज़ के टुकड़ों में बाँटता है) और उन्हें “without pausing ongoing decodes” (अनुवाद: चल रहे decodes को रोके बिना) schedule करता है।
  • इंजन यह सौदा आपके हाथ में देते हैं. vLLM की tuning गाइड कहती है कि chunked prefill उसे prefill के टुकड़ों को decode अनुरोधों के साथ batch करने देता है। छोटा max_num_batched_tokens inter-token latency सुधारता है, जबकि बड़ा TTFT और थ्रूपुट के पक्ष में जाता है।

Latency, TTFT और थ्रूपुट गाइड दिखाती है कि client की तरफ़ से दोनों चरण कैसे मापें।

BroadNet Inference पर

BroadNet यह प्रकाशित नहीं करता कि उसके सर्वर prefill और decode को कैसे schedule करते हैं। आप असर देख सकते हैं: स्ट्रीमिंग गाइड की तरह जवाब स्ट्रीम करें, पहले content chunk तक का समय (ज़्यादातर prefill और queue) और उसके बाद chunks की दर (decode) लॉग करें। GLM 5.3, DeepSeek V4.1 Flash और Qwen3.8 27B पर रीज़निंग टोकन भी decode में बनते हैं, इसलिए वे दिखने वाले जवाब में देर करते हैं और max_tokens में गिने जाते हैं।

आम ग़लतियाँ

  • धीमे पहले टोकन का दोष मॉडल की आउटपुट रफ़्तार को देना। पहले प्रॉम्प्ट की लंबाई जाँचें।
  • बहुत छोटे प्रॉम्प्ट से बेंचमार्क करना। लंबे कॉन्टेक्स्ट वाले असली प्रॉम्प्ट का prefill कहीं लंबा होता है।

अक्सर पूछे जाने वाले सवाल

लंबा प्रॉम्प्ट पहला टोकन धीमा क्यों कर देता है?

मॉडल कुछ भी लिखे, उससे पहले प्रॉम्प्ट के हर टोकन को prefill से गुज़रना होता है। लंबे प्रॉम्प्ट का मतलब ज़्यादा prefill काम है, इसलिए पहले टोकन तक का समय प्रॉम्प्ट की लंबाई के साथ बढ़ता है, जब तक प्रॉम्प्ट का कुछ हिस्सा cache से न आए।

क्या लंबा जवाब पहले टोकन को धीमा करता है?

नहीं। पहला टोकन प्रॉम्प्ट के prefill का इंतज़ार करता है। लंबा जवाब पहला टोकन आने के बाद बस ज़्यादा decode क़दम जोड़ता है।

Chunked prefill क्या है?

एक scheduling तरीका जो लंबे प्रॉम्प्ट को टुकड़ों में बाँटकर चल रहे decode क़दमों के साथ मिलाता है, ताकि एक बड़ा प्रॉम्प्ट दूसरे यूज़र्स को न रोके। vLLM जहाँ संभव हो, इसे डिफ़ॉल्ट रूप से चालू करता है।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें