عبارة «الـ API بطيئة» قد تعني ثلاثة أشياء مختلفة، ولكل منها حل مختلف. مستخدم المحادثة ينتظر الكلمة الأولى. والوكيل ينتظر استدعاء الأداة كاملًا. ومهمة المعالجة المجمّعة يهمها عدد الرموز في الساعة. يعرّف هذا المقال الأرقام الثلاثة، ويبيّن كيف تقيسها من شيفرتك، ويربط كل حل بالرقم الذي يحرّكه فعلًا.
ما TTFT والرموز في الثانية وزمن الاستجابة الكلي؟
يقدّم دليل NVIDIA لقياس الأداء تعريفات واضحة، وهي تطابق ما يمكنك ملاحظته من جهة العميل:
| المقياس | ما يقيسه | من يشعر به | ما يحدده |
|---|---|---|---|
| زمن أول رمز (TTFT) | من إرسال الطلب ← حتى استلام أول رمز | مستخدمو المحادثة | الشبكة، الطابور، طول الأمر (prefill)، إصابات التخزين المؤقت |
| زمن ما بين الرموز (ITL) | متوسط الفاصل بين الرموز | قرّاء الإجابة المتدفقة | حجم النموذج، العتاد، حِمل الخادم |
| الرموز في الثانية لكل مستخدم | رموز الإخراج بعد الأول ÷ زمن التوليد (من أول رمز إلى آخر رمز)؛ يساوي 1 ÷ متوسط ITL | القرّاء، الوكلاء | مثل ITL |
| زمن الاستجابة الكلي | من إرسال الطلب ← حتى استلام آخر رمز | الوكلاء، واجهات API، المعالجة المجمّعة | TTFT + زمن التوليد |
والمعادلة التي تربطها معًا:
الزمن الكلي ≈ TTFT + (رموز الإخراج − 1) × ITL ≈ TTFT + رموز الإخراج ÷ الرموز في الثانية لكل مستخدم
السرعة لكل مستخدم ليست هي الإنتاجية على مستوى الخادم، أي مجموع الرموز التي يولّدها الخادم لكل المستخدمين؛ وقد يرفع المزود إحداهما بينما تنخفض الأخرى.
خذ السرعة النموذجية التي تنشرها BroadNet لنموذج خططها، نحو 100 رمز في الثانية. يزداد زمن التوليد مع طول الإجابة: فملف شيفرة من 4,000 رمز يستغرق في توليده نحو ثمانين ضعف ما تستغرقه عملية تصنيف من 50 رمزًا، بينما ينتظر الاثنان TTFT نفسه. في الإجابات القصيرة يشكّل TTFT معظم الانتظار؛ وفي الطويلة تشكّله السرعة والطول.
لماذا تحتاج نماذج الاستدلال المنطقي إلى رقم رابع؟
نماذج الاستدلال المنطقي مثل DeepSeek V4.1 Flash تفكّر قبل أن تجيب، والتفكير رموز إخراج أيضًا. فإن أنفق النموذج 800 رمز في الاستدلال بسرعة نحو 100 رمز في الثانية، ينتظر المستخدم توليد الرموز الـ 800 كلها قبل أول كلمة مرئية، حتى لو بدا TTFT على الشبكة سريعًا. لذا قِس زمن أول رمز محتوى بمعزل عنه. وعلى BroadNet Inference يختصر reasoning_effort: "low" التفكير في الخطوات البسيطة؛ ويشرح دليل الاستدلال المنطقي المفاضلة.
كيف تقيس زمن الاستجابة من جهة العميل؟
قِسه حيث يوجد مستخدموك، مع تفعيل البث المتدفق. فالمؤقتات على جهة الخادم لا ترى الشبكة ولا أي وسيط (proxy).
import os, time, statistics
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
def timed(model, messages, max_tokens=1500):
t0 = time.perf_counter()
first = first_content = None
usage = None
stream = client.chat.completions.create(
model=model, messages=messages, max_tokens=max_tokens,
stream=True, stream_options={"include_usage": True},
)
for chunk in stream:
now = time.perf_counter()
if chunk.choices:
if first is None:
first = now
if chunk.choices[0].delta.content and first_content is None:
first_content = now
if chunk.usage:
usage = chunk.usage
end = time.perf_counter()
out = usage.completion_tokens if usage else 0
return {
"ttft": first - t0,
"ttfct": (first_content or end) - t0,
"e2e": end - t0,
"tps": (out - 1) / (end - first) if out > 1 and end > first else 0,
"prompt_tokens": usage.prompt_tokens if usage else None,
}
runs = [timed("broadnet/gemma-4-26b-a4b", [{"role": "user", "content": "Summarise SSE in 100 words."}]) for _ in range(50)]
for k in ("ttft", "ttfct", "e2e", "tps"):
xs = sorted(r[k] for r in runs)
print(k, "p50", round(statistics.median(xs), 3), "p95", round(xs[int(len(xs) * 0.95) - 1], 3))
خمس قواعد لقياس منصف:
- ثبّت طول الأمر واذكره. فـ TTFT عند 500 رمز في الأمر يختلف عنه عند 200,000. وتخبرك أداة عدّ الرموز بطول أمر الاختبار قبل إرساله.
- ثبّت طول المخرجات بـ
max_tokensوأمر يملؤه، لتكون الرموز في الثانية قابلة للمقارنة. - أبلغ عن p50 وp95، لا عن المتوسط. فالطرف الأقصى من زمن الاستجابة هو ما يتذكره المستخدمون.
- وزّع التشغيلات على فترات زمنية. فالحِمل يتغيّر خلال اليوم.
- ابدأ بتشغيل تمهيدي. فالاستدعاء الأول يدفع ثمن DNS وTLS وإعداد الاتصال؛ أعد استخدام عميل واحد.
ما الذي يحسّن كل رقم فعلًا؟
| لتحسين | افعل هذا | السبب |
|---|---|---|
| TTFT | اختصر بادئة الأمر أو خزّنها مؤقتًا | زمن prefill يزيد مع طول الأمر؛ والبادئات المخزّنة تتخطى العمل |
| TTFT | أبقِ الاتصالات مفتوحة، واستخدم منطقة قريبة | يزيل الإعداد ورحلات الذهاب والإياب |
| زمن أول رمز محتوى | خفّض جهد الاستدلال، أو استخدم نموذجًا لا يستدل للخطوات البسيطة | تفكير مخفي أقل قبل الإجابة |
| الرموز في الثانية | استخدم نموذجًا أصغر أو أسرع لهذه الخطوة | سرعة فك الترميز تعتمد على حجم النموذج وطريقة تشغيله |
| الزمن الكلي | اطلب مخرجات أقصر (مخططات، حدود للكلمات) | طول المخرجات يضاعف ITL |
| الزمن الكلي لاستدعاءات كثيرة | شغّل الاستدعاءات المستقلة بالتوازي ضمن حد التزامن | ينخفض الزمن الفعلي رغم أن كل استدعاء كما هو |
| زمن الاستجابة المُدرَك | بُثّ الإجابة إلى المستخدم تدفقيًا | يقرأ بينما يكتب النموذج |
طول المخرجات هو أكثر الروافع التي يُستهان بها. فطلب «JSON بهذه الحقول الأربعة» بدلًا من «اشرح إجابتك» قد يختصر زمن التوليد بمرتبة عشرية كاملة دون أي عمل على البنية التحتية. وتساعد المخرجات المنظَّمة هنا.
أما رافعة التخزين المؤقت فيتناولها مقال بنية الأوامر للتخزين المؤقت. ورافعة التوازي تصطدم بحدود المعدل سريعًا؛ راجع معالجة أخطاء 429.
كيف يغيّر طول الأمر المفاضلة؟
يزداد TTFT مع طول الأمر لأن النموذج يجب أن يعالج كل رمز إدخال قبل أن يبدأ الكتابة. وهذه هي التكلفة الخفية للأوامر الطويلة جدًا، وجزء من قرار السياق الطويل مقابل RAG: فأمر من مليون رمز يجيب عن أسئلة لا يجيب عنها RAG، لكنه يبدأ أبطأ. وإن كانت السرعة التفاعلية مهمة، فأبقِ المسار الرئيسي قصيرًا وأرسل السياق الكبير فقط حين يحتاجه السؤال.
أين يناسبك BroadNet Inference؟
تنشر BroadNet سرعة نموذجية تبلغ نحو 100 رمز في الثانية لنموذج خططها، وتبث الاستجابات بصيغة SSE القياسية، لذا تعمل الشيفرة أعلاه دون تعديل. ولا تنشر أرقامًا لـ TTFT ولا اتفاقيات مستوى خدمة لزمن الاستجابة، لذا قِس على أوامرك قبل أن تلتزم؛ فـ ساعة من خطة الشهاب (Meteor) بسعر $1 تكفي لقياس من 50 تشغيلًا، ويغطي الرصيد الابتدائي قياسًا على Gemma 4 VL 26B. وإن احتجت زمن استجابة مضمونًا دون الثانية على نطاق واسع، فاختبر بعناية: يسمح مفتاح الدفع حسب الاستخدام بـ 4 طلبات قيد التنفيذ، وهذا يناسب التطبيقات والوكلاء أكثر من الخدمة الفورية عالية الحجم. النماذج وأسعارها في صفحتي النماذج والأسعار.
