BroadRouter

زمن استجابة LLM: زمن أول رمز مقابل الرموز في الثانية والزمن الكلي

بقلم فريق BroadNet Inference · قراءة في 4 دقائق · تاريخ النشر · آخر تحديث

زمن أول رمز (TTFT) هو الانتظار قبل وصول أول رمز (توكن) من المخرجات. والرموز في الثانية هي سرعة تدفق الإجابة بعد ذلك. أما زمن الاستجابة الكلي فهو المجموع: TTFT زائد زمن التوليد، أي تقريبًا رموز الإخراج مقسومة على السرعة لكل مستخدم. طول الأمر والانتظار في الطابور يحددان TTFT، وحجم النموذج والحِمل يحددان السرعة، وطول الإجابة يحدد المجموع. قِس الثلاثة عند p50 وp95.

عبارة «الـ API بطيئة» قد تعني ثلاثة أشياء مختلفة، ولكل منها حل مختلف. مستخدم المحادثة ينتظر الكلمة الأولى. والوكيل ينتظر استدعاء الأداة كاملًا. ومهمة المعالجة المجمّعة يهمها عدد الرموز في الساعة. يعرّف هذا المقال الأرقام الثلاثة، ويبيّن كيف تقيسها من شيفرتك، ويربط كل حل بالرقم الذي يحرّكه فعلًا.

ما TTFT والرموز في الثانية وزمن الاستجابة الكلي؟

يقدّم دليل NVIDIA لقياس الأداء تعريفات واضحة، وهي تطابق ما يمكنك ملاحظته من جهة العميل:

المقياس ما يقيسه من يشعر به ما يحدده
زمن أول رمز (TTFT) من إرسال الطلب ← حتى استلام أول رمز مستخدمو المحادثة الشبكة، الطابور، طول الأمر (prefill)، إصابات التخزين المؤقت
زمن ما بين الرموز (ITL) متوسط الفاصل بين الرموز قرّاء الإجابة المتدفقة حجم النموذج، العتاد، حِمل الخادم
الرموز في الثانية لكل مستخدم رموز الإخراج بعد الأول ÷ زمن التوليد (من أول رمز إلى آخر رمز)؛ يساوي 1 ÷ متوسط ITL القرّاء، الوكلاء مثل ITL
زمن الاستجابة الكلي من إرسال الطلب ← حتى استلام آخر رمز الوكلاء، واجهات API، المعالجة المجمّعة TTFT + زمن التوليد

والمعادلة التي تربطها معًا:

الزمن الكلي ≈ TTFT + (رموز الإخراج − 1) × ITL ≈ TTFT + رموز الإخراج ÷ الرموز في الثانية لكل مستخدم

السرعة لكل مستخدم ليست هي الإنتاجية على مستوى الخادم، أي مجموع الرموز التي يولّدها الخادم لكل المستخدمين؛ وقد يرفع المزود إحداهما بينما تنخفض الأخرى.

خذ السرعة النموذجية التي تنشرها BroadNet لنموذج خططها، نحو 100 رمز في الثانية. يزداد زمن التوليد مع طول الإجابة: فملف شيفرة من 4,000 رمز يستغرق في توليده نحو ثمانين ضعف ما تستغرقه عملية تصنيف من 50 رمزًا، بينما ينتظر الاثنان TTFT نفسه. في الإجابات القصيرة يشكّل TTFT معظم الانتظار؛ وفي الطويلة تشكّله السرعة والطول.

لماذا تحتاج نماذج الاستدلال المنطقي إلى رقم رابع؟

نماذج الاستدلال المنطقي مثل DeepSeek V4.1 Flash تفكّر قبل أن تجيب، والتفكير رموز إخراج أيضًا. فإن أنفق النموذج 800 رمز في الاستدلال بسرعة نحو 100 رمز في الثانية، ينتظر المستخدم توليد الرموز الـ 800 كلها قبل أول كلمة مرئية، حتى لو بدا TTFT على الشبكة سريعًا. لذا قِس زمن أول رمز محتوى بمعزل عنه. وعلى BroadNet Inference يختصر reasoning_effort: "low" التفكير في الخطوات البسيطة؛ ويشرح دليل الاستدلال المنطقي المفاضلة.

كيف تقيس زمن الاستجابة من جهة العميل؟

قِسه حيث يوجد مستخدموك، مع تفعيل البث المتدفق. فالمؤقتات على جهة الخادم لا ترى الشبكة ولا أي وسيط (proxy).

import os, time, statistics
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

def timed(model, messages, max_tokens=1500):
    t0 = time.perf_counter()
    first = first_content = None
    usage = None
    stream = client.chat.completions.create(
        model=model, messages=messages, max_tokens=max_tokens,
        stream=True, stream_options={"include_usage": True},
    )
    for chunk in stream:
        now = time.perf_counter()
        if chunk.choices:
            if first is None:
                first = now
            if chunk.choices[0].delta.content and first_content is None:
                first_content = now
        if chunk.usage:
            usage = chunk.usage
    end = time.perf_counter()
    out = usage.completion_tokens if usage else 0
    return {
        "ttft": first - t0,
        "ttfct": (first_content or end) - t0,
        "e2e": end - t0,
        "tps": (out - 1) / (end - first) if out > 1 and end > first else 0,
        "prompt_tokens": usage.prompt_tokens if usage else None,
    }

runs = [timed("broadnet/gemma-4-26b-a4b", [{"role": "user", "content": "Summarise SSE in 100 words."}]) for _ in range(50)]
for k in ("ttft", "ttfct", "e2e", "tps"):
    xs = sorted(r[k] for r in runs)
    print(k, "p50", round(statistics.median(xs), 3), "p95", round(xs[int(len(xs) * 0.95) - 1], 3))

خمس قواعد لقياس منصف:

  1. ثبّت طول الأمر واذكره. فـ TTFT عند 500 رمز في الأمر يختلف عنه عند 200,000. وتخبرك أداة عدّ الرموز بطول أمر الاختبار قبل إرساله.
  2. ثبّت طول المخرجات بـ max_tokens وأمر يملؤه، لتكون الرموز في الثانية قابلة للمقارنة.
  3. أبلغ عن p50 وp95، لا عن المتوسط. فالطرف الأقصى من زمن الاستجابة هو ما يتذكره المستخدمون.
  4. وزّع التشغيلات على فترات زمنية. فالحِمل يتغيّر خلال اليوم.
  5. ابدأ بتشغيل تمهيدي. فالاستدعاء الأول يدفع ثمن DNS وTLS وإعداد الاتصال؛ أعد استخدام عميل واحد.

ما الذي يحسّن كل رقم فعلًا؟

لتحسين افعل هذا السبب
TTFT اختصر بادئة الأمر أو خزّنها مؤقتًا زمن prefill يزيد مع طول الأمر؛ والبادئات المخزّنة تتخطى العمل
TTFT أبقِ الاتصالات مفتوحة، واستخدم منطقة قريبة يزيل الإعداد ورحلات الذهاب والإياب
زمن أول رمز محتوى خفّض جهد الاستدلال، أو استخدم نموذجًا لا يستدل للخطوات البسيطة تفكير مخفي أقل قبل الإجابة
الرموز في الثانية استخدم نموذجًا أصغر أو أسرع لهذه الخطوة سرعة فك الترميز تعتمد على حجم النموذج وطريقة تشغيله
الزمن الكلي اطلب مخرجات أقصر (مخططات، حدود للكلمات) طول المخرجات يضاعف ITL
الزمن الكلي لاستدعاءات كثيرة شغّل الاستدعاءات المستقلة بالتوازي ضمن حد التزامن ينخفض الزمن الفعلي رغم أن كل استدعاء كما هو
زمن الاستجابة المُدرَك بُثّ الإجابة إلى المستخدم تدفقيًا يقرأ بينما يكتب النموذج

طول المخرجات هو أكثر الروافع التي يُستهان بها. فطلب «JSON بهذه الحقول الأربعة» بدلًا من «اشرح إجابتك» قد يختصر زمن التوليد بمرتبة عشرية كاملة دون أي عمل على البنية التحتية. وتساعد المخرجات المنظَّمة هنا.

أما رافعة التخزين المؤقت فيتناولها مقال بنية الأوامر للتخزين المؤقت. ورافعة التوازي تصطدم بحدود المعدل سريعًا؛ راجع معالجة أخطاء 429.

كيف يغيّر طول الأمر المفاضلة؟

يزداد TTFT مع طول الأمر لأن النموذج يجب أن يعالج كل رمز إدخال قبل أن يبدأ الكتابة. وهذه هي التكلفة الخفية للأوامر الطويلة جدًا، وجزء من قرار السياق الطويل مقابل RAG: فأمر من مليون رمز يجيب عن أسئلة لا يجيب عنها RAG، لكنه يبدأ أبطأ. وإن كانت السرعة التفاعلية مهمة، فأبقِ المسار الرئيسي قصيرًا وأرسل السياق الكبير فقط حين يحتاجه السؤال.

أين يناسبك BroadNet Inference؟

تنشر BroadNet سرعة نموذجية تبلغ نحو 100 رمز في الثانية لنموذج خططها، وتبث الاستجابات بصيغة SSE القياسية، لذا تعمل الشيفرة أعلاه دون تعديل. ولا تنشر أرقامًا لـ TTFT ولا اتفاقيات مستوى خدمة لزمن الاستجابة، لذا قِس على أوامرك قبل أن تلتزم؛ فـ ساعة من خطة الشهاب (Meteor) بسعر $1 تكفي لقياس من 50 تشغيلًا، ويغطي الرصيد الابتدائي قياسًا على Gemma 4 VL 26B. وإن احتجت زمن استجابة مضمونًا دون الثانية على نطاق واسع، فاختبر بعناية: يسمح مفتاح الدفع حسب الاستخدام بـ 4 طلبات قيد التنفيذ، وهذا يناسب التطبيقات والوكلاء أكثر من الخدمة الفورية عالية الحجم. النماذج وأسعارها في صفحتي النماذج والأسعار.

أسئلة شائعة

ما زمن أول رمز الجيد في LLM API؟

في المحادثة، أقل من ثانية تقريبًا مع الأوامر القصيرة يبدو سريع الاستجابة. أما الأوامر الطويلة ونماذج الاستدلال المنطقي فتستغرق وقتًا أطول بطبيعتها. لا تقارن TTFT إلا عند طول الأمر نفسه والنموذج نفسه.

هل الرموز في الثانية هي نفسها الإنتاجية؟

ليس تمامًا. الرموز في الثانية لكل مستخدم هي سرعة تدفق إجابة واحدة. أما الإنتاجية فهي مجموع الرموز التي يولّدها الخادم لكل المستخدمين. وقد يرفع المزود الإنتاجية الكلية بينما تنخفض سرعة كل مستخدم.

لماذا يرتفع TTFT كثيرًا في نموذج الاستدلال المنطقي؟

لأن النموذج يولّد رموز استدلال مخفية قبل الإجابة المرئية. قد يصل أول رمز بسرعة، لكن أول رمز محتوى ينتظر حتى ينتهي التفكير. خفّض reasoning_effort للمهام البسيطة.

هل يقلّل البث المتدفق زمن الاستجابة؟

لا يختصر الزمن الكلي. لكنه يتيح للمستخدم قراءة الإجابة وهي لا تزال تُكتب، فينخفض زمن الاستجابة المُدرَك إلى ما يقارب TTFT.

كم طلبًا أحتاج لقياس موثوق لزمن الاستجابة؟

ما يكفي لرؤية الطرف الأقصى من التوزيع. من خمسين إلى مئة طلب لكل حجم أمر تعطي p95 صالحًا للاستخدام. وزّعها على مدار اليوم، لأن الحِمل يتغيّر.

اقرأها بصيغة Markdownاسأل ChatGPTاسأل Claudeاسأل Perplexity