BroadRouter

مرحلتا الملء المسبق وفك الترميز (Prefill and decode)

آخر تحديث

الملء المسبق (prefill) وفك الترميز (decode) هما مرحلتا الاستدلال في نماذج LLM. في الملء المسبق يعالج النموذج الأمر كله بالتوازي ويملأ ذاكرة KV المؤقتة؛ وفي فك الترميز يولّد الرد رمزًا تلو الآخر، مستفيدًا من تلك الذاكرة. يحدد الملء المسبق في الغالب زمن أول رمز، ويحدد فك الترميز سرعة الإخراج.

يُسمّى أيضًا: الملء المسبق، مرحلة الملء المسبق، مرحلة فك الترميز، معالجة الأمر، prefill، prefill phase، decode phase، prefill stage، prompt processing

طلب المحادثة يؤدي مهمتين مختلفتين: قراءة الأمر، ثم كتابة الإجابة. ويسميهما مهندسو الاستدلال prefill وdecode، وسلوكهما على GPU مختلف جدًا.

كيف يعمل

  1. الملء المسبق (prefill). يقرأ النموذج كل رموز الأمر في تمريرة واحدة متوازية، ويخزّن مفاتيح الانتباه وقيمه لكل رمز في ذاكرة KV المؤقتة. ولا يُعاد شيء بعد.
  2. فك الترميز (decode). يولّد النموذج رمزًا واحدًا، ويضيف مفاتيحه وقيمه إلى الذاكرة المؤقتة، ويكرر ذلك حتى يتوقف أو يبلغ max_tokens.

تعرض ورقة Sarathi-Serve التباين بوضوح: “Prefill iterations have high latency but saturate GPU compute due to parallel processing of the input prompt” (ترجمة: دورات الملء المسبق عالية الكمون لكنها تستنفد قدرة GPU الحسابية بسبب المعالجة المتوازية لأمر الإدخال)، بينما “decode iterations have low latency but also low compute utilization.” (ترجمة: دورات فك الترميز منخفضة الكمون لكنها منخفضة الاستفادة من القدرة الحسابية أيضًا.)

وتقابل المرحلتان رقمَي زمن الاستجابة اللذين يشعر بهما المستخدمون. وتسمّيهما ورقة DistServe: “time to first token (TTFT) for the prefill phase and time per output token (TPOT) of each request for the decoding phase.” (ترجمة: زمن أول رمز (TTFT) لمرحلة الملء المسبق، والزمن لكل رمز إخراج (TPOT) لكل طلب لمرحلة فك الترميز.)

مثال تطبيقي: طلب بأمر من 20,000 رمز وإجابة من 300 رمز ينفّذ الملء المسبق لكل الرموز الـ 20,000 قبل أن يظهر أول رمز متدفق، ثم 300 خطوة فك ترميز متتابعة. وتقصير الأمر إلى النصف يقلّص انتظار أول رمز، لكنه لا يغيّر سرعة وصول الرموز الـ 300.

لماذا يهم

  • زمن أول رمز يتبع حجم الأمر. أوامر النظام الطويلة والمستندات وقوائم الأدوات كلها تضيف عمل ملء مسبق. والبادئات المخزّنة مؤقتًا تتخطى جزءًا منه، ولهذا قد تجعل رموز الإدخال المخزّنة مؤقتًا الأوامر الطويلة تبدأ أسرع.
  • الرموز في الثانية رقم يخص فك الترميز. سرعة الإخراج تعتمد على سرعة تنفيذ كل خطوة فك ترميز، وهي ما يحاول فك الترميز التخميني رفعه.
  • المرحلتان تتداخلان. حين يشغّل الخادم الاثنتين على GPU واحدة، قد يوقف ملء مسبق كبير عمليات فك الترميز لدى مستخدمين آخرين. وتفيد DistServe بوجود “strong prefill-decoding interferences” (ترجمة: تداخلات قوية بين الملء المسبق وفك الترميز) وتنقل المرحلتين إلى وحدات GPU مختلفة. أما Sarathi-Serve فـ “splits a prefill request into near equal sized chunks” (ترجمة: تقسّم طلب الملء المسبق إلى أجزاء شبه متساوية الحجم) وتجدولها “without pausing ongoing decodes” (ترجمة: دون إيقاف عمليات فك الترميز الجارية).
  • المحركات تكشف المفاضلة. يقول دليل الضبط في vLLM إن الملء المسبق المجزّأ يتيح له تجميع أجزاء الملء المسبق مع طلبات فك الترميز في دفعة واحدة. فقيمة أصغر لـ max_num_batched_tokens تحسّن الكمون بين الرموز، بينما تفضّل القيمة الأكبر TTFT والإنتاجية.

ويبيّن دليل زمن الاستجابة وTTFT والإنتاجية كيف تقيس المرحلتين من جهة العميل.

في BroadNet Inference

لا تنشر BroadNet كيف تجدول خوادمها الملء المسبق وفك الترميز. ما تستطيع رؤيته هو الأثر: بُثّ استجابة كما في دليل البث المتدفق، وسجّل الزمن حتى أول جزء من المحتوى (في الغالب ملء مسبق مع وقت الانتظار في الطابور) ومعدل الأجزاء بعده (فك الترميز). وعلى GLM 5.3 وDeepSeek V4.1 Flash وQwen3.8 27B تُولَّد رموز الاستدلال المنطقي في فك الترميز أيضًا، فتؤخّر الإجابة المرئية وتُحتسب ضمن max_tokens.

أخطاء شائعة

  • لوم سرعة إخراج النموذج على بطء أول رمز. تحقّق من طول الأمر أولًا.
  • قياس الأداء بأمر صغير جدًا. فالأوامر الحقيقية ذات السياق الطويل لها ملء مسبق أطول بكثير.

أسئلة شائعة

لماذا يجعل الأمر الطويل أول رمز بطيئًا؟

يجب أن يمر كل رمز من رموز الأمر بمرحلة الملء المسبق قبل أن يكتب النموذج أي شيء. والأمر الأطول يعني عمل ملء مسبق أكثر، لذا يزداد زمن أول رمز مع طول الأمر، ما لم يُقدَّم جزء منه من الذاكرة المؤقتة.

هل تبطئ الإجابة الأطول أول رمز؟

لا. ينتظر أول رمز انتهاء الملء المسبق للأمر. والإجابة الأطول لا تضيف إلا مزيدًا من خطوات فك الترميز بعد وصول أول رمز.

ما هو الملء المسبق المجزّأ (chunked prefill)؟

طريقة جدولة تقسّم الأمر الطويل إلى أجزاء وتخلطها بخطوات فك الترميز الجارية، حتى لا يعطّل أمر كبير واحد المستخدمين الآخرين. ويفعّلها vLLM افتراضيًا حيث أمكن.

اقرأها بصيغة Markdownاسأل ChatGPTاسأل Claudeاسأل Perplexity