---
title: "Apakah itu prefill dan decode? Dua fasa inferens LLM"
description: "Prefill membaca seluruh prompt sekali gus; decode menulis jawapan satu token demi satu token. Beza kedua-dua fasa dan mengapa ia menentukan TTFT dan kelajuan."
url: https://broadrouter.com/ms/glossary/prefill-and-decode/
lang: ms
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Diterjemahkan daripada bahasa Inggeris dengan bantuan AI. [Baca versi asal dalam bahasa Inggeris](https://broadrouter.com/glossary/prefill-and-decode/) (dikemas kini 2026-11-16).

# Prefill dan decode

Dikemas kini 2026-11-16

Prefill dan decode ialah dua fasa inferens LLM. Dalam prefill, model memproses seluruh prompt secara selari dan mengisi KV cache; dalam decode, ia menjana jawapan satu token pada satu masa, menggunakan semula cache itu. Prefill kebanyakannya menentukan masa ke token pertama; decode menentukan kelajuan output.

Juga dikenali sebagai: prefill and decode, prefill, fasa prefill, prefill phase, decode phase, fasa decode, prefill stage, prompt processing

Permintaan chat melakukan dua kerja yang berbeza: membaca prompt, kemudian menulis jawapan. Jurutera inferens memanggilnya prefill dan decode, dan kedua-duanya berkelakuan sangat berbeza pada GPU.

## Cara ia berfungsi

1.  **Prefill.** Model membaca setiap token prompt dalam satu laluan selari dan menyimpan kunci dan nilai attention bagi setiap token dalam [KV cache](https://broadrouter.com/ms/glossary/kv-cache/). Belum ada apa-apa yang dipulangkan.
2.  **Decode.** Model menjana satu token, menambah kunci dan nilainya ke dalam cache, dan mengulang sehingga ia berhenti atau mencapai `max_tokens`.

Kertas Sarathi-Serve menyatakan perbezaannya dengan jelas: “Prefill iterations have high latency but saturate GPU compute due to parallel processing of the input prompt” (Terjemahan BroadRouter: “Lelaran prefill mempunyai kependaman tinggi tetapi memenuhkan pengiraan GPU kerana pemprosesan selari prompt input”), manakala “decode iterations have low latency but also low compute utilization.” (Terjemahan BroadRouter: “lelaran decode mempunyai kependaman rendah tetapi juga penggunaan pengiraan yang rendah.”)

Kedua-dua fasa sepadan dengan dua angka kependaman yang dirasai pengguna. Kertas DistServe menamakannya: “time to first token (TTFT) for the prefill phase and time per output token (TPOT) of each request for the decoding phase.” (Terjemahan BroadRouter: “masa ke token pertama (TTFT) bagi fasa prefill dan masa setiap token output (TPOT) bagi setiap permintaan untuk fasa decoding.”)

Contoh: permintaan dengan prompt 20,000 token dan jawapan 300 token melakukan prefill bagi kesemua 20,000 token sebelum token pertama yang distrim muncul, kemudian 300 langkah decode berturutan. Memotong prompt separuh memendekkan masa menunggu token pertama; ia tidak mengubah kelajuan 300 token itu tiba.

## Mengapa ia penting

-   **[Masa ke token pertama](https://broadrouter.com/ms/glossary/time-to-first-token/) mengikut saiz prompt.** Prompt sistem, dokumen dan senarai alatan yang panjang semuanya menambah kerja prefill. Prefiks yang dicache melangkau sebahagian daripadanya, sebab itulah [token input cache](https://broadrouter.com/ms/glossary/cached-input-tokens/) boleh membuatkan prompt panjang bermula lebih cepat.
-   **[Token sesaat](https://broadrouter.com/ms/glossary/tokens-per-second/) ialah angka decode.** Kelajuan output bergantung pada seberapa cepat setiap langkah decode berjalan, yang cuba dipercepatkan oleh [speculative decoding](https://broadrouter.com/ms/glossary/speculative-decoding/).
-   **Kedua-dua fasa saling mengganggu.** Apabila pelayan menjalankan kedua-duanya pada GPU yang sama, prefill yang besar boleh menjeda decode pengguna lain. DistServe melaporkan “strong prefill-decoding interferences” (Terjemahan BroadRouter: “gangguan prefill-decoding yang kuat”) dan memindahkan kedua-dua fasa ke GPU berlainan. Sarathi-Serve pula “splits a prefill request into near equal sized chunks” (Terjemahan BroadRouter: “memecahkan permintaan prefill kepada cebisan yang hampir sama saiz”) dan menjadualkannya “without pausing ongoing decodes” (Terjemahan BroadRouter: “tanpa menjeda decode yang sedang berjalan”).
-   **Enjin mendedahkan pertukaran ini.** Panduan penalaan vLLM menyatakan chunked prefill membolehkannya mengumpulkan cebisan prefill bersama permintaan decode. `max_num_batched_tokens` yang lebih kecil memperbaik kependaman antara token, manakala yang lebih besar memihak kepada TTFT dan [daya pemprosesan](https://broadrouter.com/ms/glossary/throughput/).

[Panduan kependaman, TTFT dan daya pemprosesan](https://broadrouter.com/ms/blog/llm-latency-ttft-throughput/) menunjukkan cara mengukur kedua-dua fasa dari pihak klien.

## Di BroadNet Inference

BroadNet tidak menerbitkan cara pelayannya menjadualkan prefill dan decode. Apa yang anda boleh lihat ialah kesannya: strim respons seperti dalam [panduan penstriman](https://broadrouter.com/ms/guides/streaming-chat-completions/), log masa hingga cebisan kandungan pertama (kebanyakannya prefill serta giliran) dan kadar cebisan selepasnya (decode). Pada [GLM 5.3](https://broadrouter.com/ms/models/glm-5.3/), [DeepSeek V4.1 Flash](https://broadrouter.com/ms/models/deepseek-v4.1-flash/) dan [Qwen3.8 27B](https://broadrouter.com/ms/models/qwen3.8-27b/), token penaakulan juga dijana dalam decode, jadi ia melambatkan jawapan yang kelihatan dan dikira dalam `max_tokens`.

## Kesilapan biasa

-   Menyalahkan kelajuan output model apabila token pertama lambat. Semak panjang prompt dahulu.
-   Membuat penanda aras dengan prompt yang sangat kecil. Prompt sebenar dengan konteks panjang mempunyai prefill yang jauh lebih lama.

## Soalan lazim

### Mengapakah prompt yang panjang melambatkan token pertama?

Setiap token prompt mesti melalui prefill sebelum model boleh menulis apa-apa. Prompt yang lebih panjang bermakna lebih banyak kerja prefill, jadi masa ke token pertama meningkat mengikut panjang prompt, melainkan sebahagian prompt disediakan daripada cache.

### Adakah jawapan yang lebih panjang melambatkan token pertama?

Tidak. Token pertama menunggu prefill prompt. Jawapan yang lebih panjang hanya menambah langkah decode selepas token pertama tiba.

### Apakah itu chunked prefill?

Kaedah penjadualan yang memecahkan prompt panjang kepada cebisan dan mencampurkannya dengan langkah decode yang sedang berjalan, supaya satu prompt besar tidak menghentikan pengguna lain. vLLM mendayakannya secara lalai di mana boleh.

## Lihat juga

-   [KV cache](https://broadrouter.com/ms/glossary/kv-cache/) (istilah)
-   [Masa ke token pertama (TTFT)](https://broadrouter.com/ms/glossary/time-to-first-token/) (istilah)
-   [Token sesaat (tokens per second)](https://broadrouter.com/ms/glossary/tokens-per-second/) (istilah)
-   [Daya pemprosesan (throughput)](https://broadrouter.com/ms/glossary/throughput/) (istilah)
-   [Kependaman (latency)](https://broadrouter.com/ms/glossary/latency/) (istilah)
-   [vLLM](https://broadrouter.com/ms/glossary/vllm/) (istilah)
-   [Strim chat completions dan kendalikan sambungan yang terputus](https://broadrouter.com/ms/guides/streaming-chat-completions/) (panduan)
-   [Kependaman LLM: TTFT vs token sesaat vs masa hujung ke hujung](https://broadrouter.com/ms/blog/llm-latency-ttft-throughput/) (artikel)
-   [Hos LLM sendiri vs API: kos sebenar dan titik pulang modal](https://broadrouter.com/ms/blog/self-hosting-llm-vs-api-cost/) (artikel)

Cuba dengan beban kerja sebenar anda. Akaun baharu bermula dengan kredit US$5 untuk Gemma dan transkripsi. DeepSeek, GLM dan Qwen3.8 memerlukan tambah nilai.

[Mulakan](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ms-glossary-prefill-and-decode&utm_content=page-cta) ·

**Sumber**

-   [Zhong et al., DistServe: Disaggregating Prefill and Decoding for Goodput-optimized LLM Serving, arXiv 2401.09670 (disemak 2026-11-15)](https://arxiv.org/abs/2401.09670)
-   [Agrawal et al., Taming Throughput-Latency Tradeoff in LLM Inference with Sarathi-Serve, arXiv 2403.02310 (disemak 2026-11-15)](https://arxiv.org/abs/2403.02310)
-   [Dokumentasi vLLM, pengoptimuman dan penalaan: chunked prefill (disemak 2026-11-15)](https://docs.vllm.ai/en/latest/configuration/optimization/)
