---
title: "Prefill और decode क्या हैं? LLM इन्फ़रेंस के दो चरण | BroadRouter"
description: "Prefill आपका पूरा प्रॉम्प्ट एक बार में पढ़ता है; फिर decode जवाब एक-एक टोकन करके लिखता है। दोनों चरण कैसे अलग हैं और TTFT व रफ़्तार क्यों तय करते हैं।"
url: https://broadrouter.com/hi/glossary/prefill-and-decode/
lang: hi
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

यह पेज अंग्रेज़ी से AI की मदद से अनुवाद किया गया है। [अंग्रेज़ी मूल पढ़ें](https://broadrouter.com/glossary/prefill-and-decode/) (2026-11-16 को अपडेट किया गया).

# Prefill और decode

अपडेट किया गया 2026-11-16

Prefill और decode LLM इन्फ़रेंस के दो चरण हैं। Prefill में मॉडल पूरा प्रॉम्प्ट समानांतर रूप से प्रोसेस करके अपना KV cache भरता है; decode में वह उसी cache को दोबारा इस्तेमाल करते हुए जवाब एक-एक टोकन करके बनाता है। Prefill मुख्य रूप से पहले टोकन तक का समय तय करता है; decode आउटपुट की रफ़्तार।

अन्य नाम: प्रीफ़िल, डिकोड, prefill kya hai, prefill aur decode kya hai, prefill, prefill phase, decode phase, prefill stage, prompt processing

एक चैट अनुरोध दो अलग काम करता है: प्रॉम्प्ट पढ़ना, फिर जवाब लिखना। इन्फ़रेंस इंजीनियर इन्हें prefill और decode कहते हैं, और GPU पर दोनों का बर्ताव बहुत अलग है।

## यह कैसे काम करता है

1.  **Prefill.** मॉडल प्रॉम्प्ट का हर टोकन एक समानांतर pass में पढ़ता है और हर टोकन के attention keys और values [KV cache](https://broadrouter.com/hi/glossary/kv-cache/) में रखता है। अभी कुछ लौटाया नहीं जाता।
2.  **Decode.** मॉडल एक टोकन बनाता है, उसके keys और values cache में जोड़ता है, और तब तक दोहराता है जब तक रुक न जाए या `max_tokens` तक न पहुँचे।

Sarathi-Serve पेपर यह फ़र्क़ साफ़ बताता है: “Prefill iterations have high latency but saturate GPU compute due to parallel processing of the input prompt” (अनुवाद: इनपुट प्रॉम्प्ट की समानांतर प्रोसेसिंग के कारण prefill iterations की latency ज़्यादा होती है, पर वे GPU compute को पूरा भर देती हैं), जबकि “decode iterations have low latency but also low compute utilization.” (अनुवाद: decode iterations की latency कम होती है, पर compute का उपयोग भी कम)।

दोनों चरण उन दो latency नंबरों से जुड़ते हैं जो यूज़र महसूस करते हैं। DistServe पेपर उनके नाम देता है: “time to first token (TTFT) for the prefill phase and time per output token (TPOT) of each request for the decoding phase.” (अनुवाद: prefill चरण के लिए पहले टोकन तक का समय (TTFT) और decoding चरण के लिए हर अनुरोध का प्रति आउटपुट टोकन समय (TPOT)।)

एक उदाहरण: 20,000 टोकन के प्रॉम्प्ट और 300 टोकन के जवाब वाला अनुरोध पहला स्ट्रीम हुआ टोकन आने से पहले पूरे 20,000 टोकन का prefill करता है, फिर 300 क्रमिक decode क़दम। प्रॉम्प्ट आधा करने से पहले टोकन का इंतज़ार घटता है; 300 टोकन कितनी तेज़ी से आते हैं, यह नहीं बदलता।

## यह क्यों मायने रखता है

-   **[पहले टोकन तक का समय](https://broadrouter.com/hi/glossary/time-to-first-token/) प्रॉम्प्ट के साइज़ के साथ चलता है.** लंबे system prompt, दस्तावेज़ और टूल की सूचियाँ, सब prefill का काम बढ़ाते हैं। Cached prefix इसका कुछ हिस्सा छोड़ देते हैं, इसीलिए [cached input टोकन](https://broadrouter.com/hi/glossary/cached-input-tokens/) लंबे प्रॉम्प्ट को जल्दी शुरू करा सकते हैं।
-   **[Tokens per second](https://broadrouter.com/hi/glossary/tokens-per-second/) decode का नंबर है.** आउटपुट की रफ़्तार इस पर निर्भर है कि हर decode क़दम कितनी जल्दी चलता है, जिसे [speculative decoding](https://broadrouter.com/hi/glossary/speculative-decoding/) बढ़ाने की कोशिश करता है।
-   **दोनों चरण एक-दूसरे में दख़ल देते हैं.** जब सर्वर दोनों को एक ही GPU पर चलाता है, तो एक बड़ा prefill दूसरे यूज़र्स के decode रोक सकता है। DistServe “strong prefill-decoding interferences” (अनुवाद: prefill और decoding के बीच तेज़ दख़ल) बताता है और दोनों चरणों को अलग GPU पर ले जाता है। Sarathi-Serve इसके बजाय “splits a prefill request into near equal sized chunks” (अनुवाद: prefill अनुरोध को लगभग बराबर साइज़ के टुकड़ों में बाँटता है) और उन्हें “without pausing ongoing decodes” (अनुवाद: चल रहे decodes को रोके बिना) schedule करता है।
-   **इंजन यह सौदा आपके हाथ में देते हैं.** vLLM की tuning गाइड कहती है कि chunked prefill उसे prefill के टुकड़ों को decode अनुरोधों के साथ batch करने देता है। छोटा `max_num_batched_tokens` inter-token latency सुधारता है, जबकि बड़ा TTFT और [थ्रूपुट](https://broadrouter.com/hi/glossary/throughput/) के पक्ष में जाता है।

[Latency, TTFT और थ्रूपुट गाइड](https://broadrouter.com/hi/blog/llm-latency-ttft-throughput/) दिखाती है कि client की तरफ़ से दोनों चरण कैसे मापें।

## BroadNet Inference पर

BroadNet यह प्रकाशित नहीं करता कि उसके सर्वर prefill और decode को कैसे schedule करते हैं। आप असर देख सकते हैं: [स्ट्रीमिंग गाइड](https://broadrouter.com/hi/guides/streaming-chat-completions/) की तरह जवाब स्ट्रीम करें, पहले content chunk तक का समय (ज़्यादातर prefill और queue) और उसके बाद chunks की दर (decode) लॉग करें। [GLM 5.3](https://broadrouter.com/hi/models/glm-5.3/), [DeepSeek V4.1 Flash](https://broadrouter.com/hi/models/deepseek-v4.1-flash/) और [Qwen3.8 27B](https://broadrouter.com/hi/models/qwen3.8-27b/) पर रीज़निंग टोकन भी decode में बनते हैं, इसलिए वे दिखने वाले जवाब में देर करते हैं और `max_tokens` में गिने जाते हैं।

## आम ग़लतियाँ

-   धीमे पहले टोकन का दोष मॉडल की आउटपुट रफ़्तार को देना। पहले प्रॉम्प्ट की लंबाई जाँचें।
-   बहुत छोटे प्रॉम्प्ट से बेंचमार्क करना। लंबे कॉन्टेक्स्ट वाले असली प्रॉम्प्ट का prefill कहीं लंबा होता है।

## अक्सर पूछे जाने वाले सवाल

### लंबा प्रॉम्प्ट पहला टोकन धीमा क्यों कर देता है?

मॉडल कुछ भी लिखे, उससे पहले प्रॉम्प्ट के हर टोकन को prefill से गुज़रना होता है। लंबे प्रॉम्प्ट का मतलब ज़्यादा prefill काम है, इसलिए पहले टोकन तक का समय प्रॉम्प्ट की लंबाई के साथ बढ़ता है, जब तक प्रॉम्प्ट का कुछ हिस्सा cache से न आए।

### क्या लंबा जवाब पहले टोकन को धीमा करता है?

नहीं। पहला टोकन प्रॉम्प्ट के prefill का इंतज़ार करता है। लंबा जवाब पहला टोकन आने के बाद बस ज़्यादा decode क़दम जोड़ता है।

### Chunked prefill क्या है?

एक scheduling तरीका जो लंबे प्रॉम्प्ट को टुकड़ों में बाँटकर चल रहे decode क़दमों के साथ मिलाता है, ताकि एक बड़ा प्रॉम्प्ट दूसरे यूज़र्स को न रोके। vLLM जहाँ संभव हो, इसे डिफ़ॉल्ट रूप से चालू करता है।

## यह भी देखें

-   [KV cache (की-वैल्यू कैश)](https://broadrouter.com/hi/glossary/kv-cache/) (शब्द)
-   [पहले टोकन तक का समय (TTFT, time to first token)](https://broadrouter.com/hi/glossary/time-to-first-token/) (शब्द)
-   [टोकन प्रति सेकंड (tokens per second, TPS)](https://broadrouter.com/hi/glossary/tokens-per-second/) (शब्द)
-   [थ्रूपुट (throughput)](https://broadrouter.com/hi/glossary/throughput/) (शब्द)
-   [लेटेंसी (latency)](https://broadrouter.com/hi/glossary/latency/) (शब्द)
-   [vLLM](https://broadrouter.com/hi/glossary/vllm/) (शब्द)
-   [chat completions स्ट्रीम करें और टूटे कनेक्शन सँभालें](https://broadrouter.com/hi/guides/streaming-chat-completions/) (गाइड)
-   [LLM लेटेंसी: TTFT, टोकन प्रति सेकंड और एंड-टू-एंड समय](https://broadrouter.com/hi/blog/llm-latency-ttft-throughput/) (लेख)
-   [LLM सेल्फ़-होस्ट करें या API लें: असली लागत और ब्रेक-ईवन](https://broadrouter.com/hi/blog/self-hosting-llm-vs-api-cost/) (लेख)

इसे अपने असली वर्कलोड पर आज़माएँ। नए अकाउंट Gemma और ट्रांसक्रिप्शन के लिए US$5 के क्रेडिट से शुरू होते हैं। DeepSeek, GLM, और Qwen3.8 के लिए टॉप-अप ज़रूरी है।

[शुरू करें](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=hi-glossary-prefill-and-decode&utm_content=page-cta) ·

**स्रोत**

-   [Zhong और साथी, DistServe: Disaggregating Prefill and Decoding for Goodput-optimized LLM Serving, arXiv 2401.09670 (जाँचा गया 2026-11-15)](https://arxiv.org/abs/2401.09670)
-   [Agrawal और साथी, Taming Throughput-Latency Tradeoff in LLM Inference with Sarathi-Serve, arXiv 2403.02310 (जाँचा गया 2026-11-15)](https://arxiv.org/abs/2403.02310)
-   [vLLM डॉक्स, optimization और tuning: chunked prefill (जाँचा गया 2026-11-15)](https://docs.vllm.ai/en/latest/configuration/optimization/)
