BroadRouter

زمن أول رمز (TTFT)

آخر تحديث

زمن أول رمز (TTFT) هو المدة من إرسال طلب إلى النموذج اللغوي حتى وصول أول رمز من المخرجات. ويشمل زمن الشبكة، والانتظار في طابور الخادم، والمعالجة المسبقة (prefill)، وهي الخطوة التي يقرأ فيها النموذج الأمر كاملًا، لذا يزداد مع طول الأمر والضغط على الخادم.

يُسمّى أيضًا: زمن أول رمز، زمن أول توكن، زمن الوصول إلى أول رمز، تأخير أول رمز، TTFT، time to first token، first-token latency، time to first content token، first token time

TTFT هو التوقف الذي يسبق حدوث أي شيء. في نافذة المحادثة هو الشاشة الفارغة، وفي روبوت الصوت هو الصمت.

كيف يعمل

يقسّم دليل NVIDIA لقياس الأداء TTFT إلى ثلاثة أجزاء: “request queuing time, prefill time, and network latency” (ترجمة: زمن انتظار الطلب في الطابور، وزمن المعالجة المسبقة، وزمن الشبكة). ولكلٍّ منها سببه:

الجزء ما الذي يحرّكه ما الذي يمكنك تغييره
الشبكة المسافة، وإعداد TLS، والوسطاء (proxies) أعد استخدام الاتصالات؛ واستدعِ من منطقة قريبة
الانتظار في الطابور مدى انشغال الخادم التوقيت خارج أوقات الذروة، أو نموذج أو فئة أقل ضغطًا
المعالجة المسبقة طول الأمر، وحجم النموذج أوامر أقصر، وبادئات ثابتة قابلة للتخزين المؤقت

المعالجة المسبقة هي عادةً الجزء الأكبر مع المدخلات الطويلة. إذ يمرّر النموذج الأمر كاملًا عبر كل الطبقات ليبني ذاكرة KV المؤقتة قبل أن يُنتج الرمز الأول. وتنبّه NVIDIA إلى أن المعالجة المسبقة لطلب ما قد تتداخل على الخادم المزدحم مع توليد طلب آخر، فيتغيّر TTFT أيضًا مع حركة الآخرين.

يهم تعريفان حين تقرأ الأرقام. فأداة AIPerf من NVIDIA لا تحتسب الرمز الأول إلا إن حمل محتوى. وبالنسبة إلى النص المتدفق في Responses API، يقيس دليل OpenAI زمن TTFT “until you receive the first nonempty response.output_text.delta” (ترجمة: حتى تتلقى أول حدث response.output_text.delta غير فارغ). ومع رموز الاستدلال المنطقي، قد تأتي أول كلمة ظاهرة بعد أول رمز مولَّد بوقت طويل، لذا وضّح أيهما تقصد.

لماذا يهم

يحدد TTFT مدى سرعة شعور المستخدم بالمنتج، أكثر مما تحدده السرعة الخام. يقول دليل OpenAI إن “a long prompt can delay the first token, especially when much of the input is new” (ترجمة: الأمر الطويل قد يؤخر الرمز الأول، خاصةً حين يكون جزء كبير من المدخلات جديدًا). وهنا تفيد رموز الإدخال المخزّنة مؤقتًا. فالدليل نفسه يقول إن التخزين المؤقت للأوامر “can reuse an eligible exact prefix match” (ترجمة: يمكنه إعادة استخدام بادئة مطابقة تمامًا ومؤهلة)، ويقترح مقارنة TTFT مع إصابات الذاكرة المؤقتة وبدونها. فالبادئة المخزّنة تتخطى جزءًا من المعالجة المسبقة، فيكلّف أمر النظام المتكرر أقل وقد يبدأ أسرع.

وفي الوكلاء، يُدفع TTFT في كل خطوة. فعشرون استدعاء أداة بزمن أول رمز قدره ثانيتان تضيف أربعين ثانية من الانتظار قبل احتساب أي مخرجات.

TTFT جزء من زمن الاستجابة الكلي، والباقي زمن التوليد الذي تحدده الرموز في الثانية.

في BroadNet Inference

يصف توثيق BroadNet البث المتدفق عبر Server-Sent Events، الذي ينتهي بـ data: [DONE]، وبه ترصد أول رمز من جهة العميل. وتستدل نماذج DeepSeek V4.1 Flash وGLM 5.3 وQwen3.8 27B قبل أن تجيب، لذا يشمل زمن أول نص ظاهر وقت التفكير. ولا تنشر BroadNet رقمًا لـ TTFT. وللحصول على سكربت قياس وتقارير p50/p95، راجع زمن استجابة LLM: زمن أول رمز مقابل الرموز في الثانية.

أسئلة شائعة

لماذا يكون TTFT بطيئًا مع الأمر الطويل؟

على النموذج أن يقرأ كل رموز الأمر ويبني ذاكرة KV المؤقتة قبل أن يكتب أي شيء. ويقول دليل مقاييس NVIDIA إن الأوامر الأطول تزيد TTFT لهذا السبب تحديدًا.

هل يقلل البث المتدفق زمن أول رمز؟

لا. البث يتيح لك رؤية أول رمز بمجرد وجوده؛ وبدونه تنتظر الرد كاملًا. أما العمل على الخادم قبل ذلك الرمز فهو نفسه في الحالتين.

هل يُحتسب الجزء الأول الفارغ رمزًا أول؟

ليس في معظم معايير القياس. فأداة AIPerf من NVIDIA تتجاهل الاستجابات الأولى الخالية من المحتوى، وOpenAI تقيس TTFT حتى أول دفعة نصية غير فارغة.

اقرأها بصيغة Markdownاسأل ChatGPTاسأل Claudeاسأل Perplexity