رفتار کے دو حصے ہیں: کچھ بھی نظر آنے میں کتنا وقت لگتا ہے، اور اس کے بعد متن کتنی تیزی سے بہتا ہے۔ ٹوکن فی سیکنڈ دوسرا حصہ ناپتا ہے۔
یہ کیسے کام کرتا ہے
NVIDIA کی بینچ مارکنگ دستاویزات اس سے جڑی میٹرکس کی تعریف کرتی ہیں:
- پہلے ٹوکن تک کا وقت (TTFT): درخواست بھیجنے سے پہلا ٹوکن ملنے تک۔ یہ پرامپٹ کی لمبائی کے ساتھ بڑھتا ہے۔
- انٹر ٹوکن لیٹنسی (ITL): آؤٹ پٹ ٹوکنز کے درمیان اوسط وقفہ۔
- فی یوزر TPS: ایک درخواست کے آؤٹ پٹ ٹوکنز کو اس کے شروع سے آخر تک کے وقت سے تقسیم کرنا، اس لیے NVIDIA کی تعریف میں اس میں TTFT شامل ہے۔ کئی ڈیش بورڈز اس کے بجائے پہلے ٹوکن کے بعد کی ڈیکوڈ رفتار بتاتے ہیں، جیسا یہ صفحہ کرتا ہے۔
- سسٹم TPS: تمام بیک وقت درخواستوں کے کل آؤٹ پٹ ٹوکن، جسے تھروپٹ بھی کہتے ہیں۔
یہ الٹی سمتوں میں کھنچتے ہیں۔ NVIDIA بتاتا ہے کہ کنکرنسی بڑھنے پر سسٹم TPS بڑھتا ہے جبکہ فی یوزر TPS گھٹتا ہے۔ فراہم کنندہ کا مارکیٹنگ عدد اور آپ کی ایک درخواست کی رفتار، دونوں ایماندار ہو کر بھی مختلف ہو سکتے ہیں۔
ایک جواب کا فوری اندازہ:
total time ≈ TTFT + output tokens ÷ tokens per second
یعنی: کل وقت ≈ TTFT + آؤٹ پٹ ٹوکن ÷ ٹوکن فی سیکنڈ۔
مثال کے طور پر 50 ٹوکن فی سیکنڈ والی اسٹریم لیں: 1,000 ٹوکن کا جواب پہلے ٹوکن کے بعد تقریباً 20 سیکنڈ لیتا ہے۔ اگر ماڈل 2,000 ریزننگ ٹوکن بھی لکھتا ہے تو جواب شروع ہونے سے پہلے تقریباً 40 سیکنڈ اور جوڑیں۔ پہلے ٹوکن تک کا وقت اس کے اوپر سے آتا ہے۔
یہ کیوں اہم ہے
- یوزر کا تجربہ۔ اسٹریمنگ متن کو آتے ہی دکھاتی ہے، اس لیے TTFT اور TPS طے کرتے ہیں کہ جواب کتنا تیز محسوس ہوتا ہے۔
- ایجنٹ تھروپٹ۔ کوڈنگ ایجنٹ اگلے قدم سے پہلے ہر جواب کا انتظار کرتا ہے۔ تیز آؤٹ پٹ کا مطلب ہے فی گھنٹہ زیادہ قدم۔
- پلان کی حدیں۔ بغیر ٹوکن میٹر والے پلان پر رفتار ہی اصل حد بن جاتی ہے کہ آپ کتنے ٹوکن استعمال کر سکتے ہیں۔
BroadNet Inference پر
BroadNet کا پلانز صفحہ DeepSeek V4.1 Flash کے لیے تقریباً 100 ٹوکن فی سیکنڈ کی عام رفتار بتاتا ہے۔ لامحدود پلانز کا ایک سیشن ایک وقت میں ایک درخواست چلاتا ہے، اس لیے اس رفتار پر 30 دن تک مسلسل جنریٹ کرنے والا سیشن تقریباً 259 ملین آؤٹ پٹ ٹوکن بنائے گا۔ اصل ایجنٹس پڑھنے، ٹولز چلانے اور انتظار میں وقت گزارتے ہیں، اس لیے عملی عدد کم ہوتا ہے۔
پلان پر کل تھروپٹ بڑھانے کے لیے سیشن شامل کریں: متوازی کام کرنے والے ہر ایجنٹ کے لیے ایک۔ دیکھیں لامحدود سیشن کیسے کام کرتے ہیں اور متوازی کوڈنگ ایجنٹس چلانا۔
عام غلطیاں
- ایک ہی درخواست پر فراہم کنندگان کا موازنہ کرنا۔ TTFT اور TPS کو کئی درخواستوں پر، اپنے پرامپٹ سائز کے ساتھ ناپیں۔
- کلائنٹ ٹائم آؤٹ سیٹ کرتے وقت ریزننگ کا وقت بھول جانا۔