BroadRouter

پہلے ٹوکن تک کا وقت (TTFT، time to first token)

اپ ڈیٹ

Time to first token (TTFT) وہ وقت ہے جو لینگویج ماڈل کو درخواست بھیجنے سے پہلا آؤٹ پٹ ٹوکن آنے تک لگتا ہے۔ اس میں نیٹ ورک کا وقت، سرور پر قطار اور prefill شامل ہیں، یعنی وہ مرحلہ جس میں ماڈل پورا پرامپٹ پڑھتا ہے، اس لیے یہ پرامپٹ کی لمبائی اور لوڈ کے ساتھ بڑھتا ہے۔

دوسرے نام: TTFT، پہلے ٹوکن تک کا وقت، فرسٹ ٹوکن لیٹنسی، TTFT kya hai، time to first token kya hai، time to first token، first-token latency، time to first content token، first token time

TTFT کچھ بھی ہونے سے پہلے کا وقفہ ہے۔ چیٹ ونڈو میں یہ خالی اسکرین ہے؛ وائس بوٹ میں یہ خاموشی ہے۔

یہ کیسے کام کرتا ہے

NVIDIA کی بینچ مارکنگ گائیڈ TTFT کو تین حصوں میں تقسیم کرتی ہے: “request queuing time, prefill time, and network latency” (ترجمہ: درخواست کے قطار میں رہنے کا وقت، prefill کا وقت اور نیٹ ورک لیٹنسی)۔ ہر حصے کی اپنی وجہ ہے:

حصہ اسے کیا بڑھاتا ہے آپ کیا بدل سکتے ہیں
نیٹ ورک فاصلہ، TLS سیٹ اپ، پراکسیز کنکشنز دوبارہ استعمال کریں؛ قریبی ریجن سے کال کریں
قطار سرور کتنا مصروف ہے کم رش کے اوقات میں چلائیں، کم لوڈ والا ماڈل یا ٹیئر چنیں
Prefill پرامپٹ کی لمبائی، ماڈل کا سائز چھوٹے پرامپٹس، مستحکم اور کیش ہونے کے قابل پری فکس

لمبے ان پٹس کے لیے عموماً prefill سب سے بڑا حصہ ہوتا ہے۔ پہلا ٹوکن بنانے سے پہلے ماڈل پورا پرامپٹ ہر لیئر سے گزار کر KV cache بناتا ہے۔ NVIDIA بتاتا ہے کہ مصروف سرور پر ایک درخواست کا prefill دوسری کی جنریشن کے ساتھ چل سکتا ہے، اس لیے TTFT دوسروں کے ٹریفک کے ساتھ بھی بدلتا ہے۔

اعداد پڑھتے وقت دو تعریفیں اہم ہیں۔ NVIDIA کا AIPerf پہلے ٹوکن کو تب ہی گنتا ہے جب اس میں مواد ہو۔ Responses API میں اسٹریمنگ متن کے لیے OpenAI کی گائیڈ TTFT کو “until you receive the first nonempty response.output_text.delta” (ترجمہ: جب تک آپ کو پہلا غیر خالی response.output_text.delta نہ ملے) تک ناپتی ہے۔ ریزننگ ٹوکنز کے ساتھ پہلا نظر آنے والا لفظ پہلے بنے ٹوکن سے کافی بعد آ سکتا ہے، اس لیے بتائیں کہ آپ کی مراد کس سے ہے۔

یہ کیوں اہم ہے

پروڈکٹ کتنی تیز لگتی ہے، یہ خام رفتار سے زیادہ TTFT طے کرتا ہے۔ OpenAI کی گائیڈ کہتی ہے کہ “a long prompt can delay the first token, especially when much of the input is new” (ترجمہ: لمبا پرامپٹ پہلے ٹوکن میں تاخیر کر سکتا ہے، خاص طور پر جب ان پٹ کا بڑا حصہ نیا ہو)۔ یہیں کیش شدہ ان پٹ ٹوکنز مدد کرتے ہیں۔ وہی گائیڈ کہتی ہے کہ prompt caching “can reuse an eligible exact prefix match” (ترجمہ: اہل، بالکل یکساں پری فکس میچ کو دوبارہ استعمال کر سکتی ہے) اور کیش ہٹ کے ساتھ اور بغیر TTFT کا موازنہ کرنے کا مشورہ دیتی ہے۔ کیش شدہ پری فکس prefill کا کچھ حصہ چھوڑ دیتا ہے، اس لیے دہرایا گیا سسٹم پرامپٹ سستا پڑتا ہے اور جلد شروع ہو سکتا ہے۔

ایجنٹس کے لیے TTFT ہر قدم پر ادا کرنا پڑتا ہے۔ دو سیکنڈ کے TTFT والی بیس ٹول کالز، کوئی آؤٹ پٹ گننے سے پہلے ہی چالیس سیکنڈ کا انتظار بڑھا دیتی ہیں۔

TTFT، اینڈ ٹو اینڈ لیٹنسی کا ایک حصہ ہے۔ باقی جنریشن ٹائم ہے، جو ٹوکن فی سیکنڈ سے طے ہوتا ہے۔

BroadNet Inference پر

BroadNet کی دستاویزات Server-Sent Events والی اسٹریمنگ بیان کرتی ہیں، جو data: [DONE] پر ختم ہوتی ہے؛ کلائنٹ پر پہلا ٹوکن آپ اسی سے دیکھتے ہیں۔ DeepSeek V4.1 Flash، GLM 5.3 اور Qwen3.8 27B جواب سے پہلے ریزننگ کرتے ہیں، اس لیے پہلے نظر آنے والے متن تک کے وقت میں سوچنے کا وقت بھی شامل ہے۔ BroadNet کوئی TTFT عدد شائع نہیں کرتا۔ ٹائمنگ اسکرپٹ اور p50/p95 رپورٹنگ کے لیے LLM لیٹنسی: TTFT بمقابلہ ٹوکن فی سیکنڈ دیکھیں۔

عام سوالات

لمبے پرامپٹ کے ساتھ TTFT سست کیوں ہوتا ہے؟

کچھ بھی لکھنے سے پہلے ماڈل کو پرامپٹ کا ہر ٹوکن پڑھ کر اپنا KV cache بنانا ہوتا ہے۔ NVIDIA کی میٹرکس گائیڈ کہتی ہے کہ لمبے پرامپٹس بالکل اسی وجہ سے TTFT بڑھاتے ہیں۔

کیا اسٹریمنگ سے پہلے ٹوکن تک کا وقت کم ہوتا ہے؟

نہیں۔ اسٹریمنگ سے پہلا ٹوکن بنتے ہی آپ کو نظر آ جاتا ہے؛ اس کے بغیر آپ پورے جواب کا انتظار کرتے ہیں۔ اس ٹوکن سے پہلے سرور کا کام دونوں صورتوں میں ایک جیسا ہے۔

کیا خالی پہلا چنک بھی پہلا ٹوکن گنا جاتا ہے؟

زیادہ تر بینچ مارکس میں نہیں۔ NVIDIA کا AIPerf بغیر مواد والے ابتدائی رسپانسز کو نظر انداز کرتا ہے، اور OpenAI پہلے غیر خالی ٹیکسٹ delta تک کا وقت TTFT مانتا ہے۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں