BroadRouter
شروع کریں

کنکرنسی (concurrency)

اپ ڈیٹ

کنکرنسی، کسی کلائنٹ کی بیک وقت چل رہی (in-flight) درخواستوں کی تعداد ہے۔ LLM APIs اکثر اس کی حد ہر کلید یا پلان پر، فی منٹ درخواستوں سے الگ رکھتے ہیں، کیونکہ ہر کھلی درخواست جواب مکمل ہونے تک GPU کی گنجائش گھیرے رکھتی ہے۔

دوسرے نام: کنکرنسی، بیک وقت درخواستیں، متوازی درخواستیں، concurrency kya hai، concurrent requests kya hoti hain، concurrency، concurrent requests، parallel requests، in-flight requests، concurrency limit

ریٹ لمٹ وقت کے ساتھ درخواستیں گنتی ہے۔ کنکرنسی ایک لمحے میں چل رہی درخواستیں گنتی ہے۔ LLM درخواستوں میں کئی سیکنڈ لگ سکتے ہیں، اس لیے اکثر دوسری حد پہلے آڑے آتی ہے۔

یہ کیسے کام کرتی ہے

Little’s law ان تین اعداد کو جوڑتا ہے:

requests in flight = request rate × average time per request

یعنی: بیک وقت چلتی درخواستیں = درخواستوں کی شرح × ہر درخواست کا اوسط وقت۔

ایک فرضی کلید لیں جو بیک وقت 5 درخواستوں اور ایک منٹ میں 60 درخواستوں کی اجازت دیتی ہے، اور ہر درخواست 20 سیکنڈ لیتی ہے۔ کنکرنسی کی حد زیادہ سے زیادہ 5 ÷ 20 = 0.25 درخواستیں فی سیکنڈ، یعنی 15 فی منٹ کی اجازت دیتی ہے۔ آپ کبھی 60 فی منٹ تک نہیں پہنچتے، کیونکہ اصل رکاوٹ کنکرنسی ہے۔ 2 سیکنڈ والی درخواستوں پر وہی حد 150 فی منٹ کی اجازت دیتی ہے، اور تب ریٹ لمٹ رکاوٹ بنتی ہے۔ ریٹ لمٹ کیلکولیٹر آپ کے اپنے اعداد پر یہی حساب لگاتا ہے۔

لمبے آؤٹ پٹ، ریزننگ ٹوکن اور لمبے پرامپٹ، تینوں درخواست کو لمبا بناتے ہیں، اس لیے کنکرنسی جلد بھر جاتی ہے۔ اسٹریم کیا گیا جواب ختم ہونے تک اپنا سلاٹ گھیرے رکھتا ہے۔

یہ کیوں اہم ہے

فراہم کنندگان کنکرنسی محدود رکھتے ہیں کیونکہ GPU میموری اور کمپیوٹ مشترک ہوتے ہیں۔ NVIDIA کے بینچ مارکس دکھاتے ہیں کہ سرور پر کنکرنسی بڑھنے کے ساتھ کل آؤٹ پٹ بڑھتا ہے، جبکہ ہر درخواست کے ٹوکن فی سیکنڈ کم ہوتے ہیں۔ ہر کلید پر حد ایک کلائنٹ کو باقی سب کو سست کرنے سے روکتی ہے۔

آپ کی ایپ کے لیے کنکرنسی طے کرتی ہے کہ ورکر پول کتنا بڑا ہو اور کتنے ایجنٹس ساتھ ساتھ چل سکیں۔ پول کا سائز حد کے برابر رکھیں، اس سے زیادہ نہیں، ورنہ اضافی ورکرز بس 429 ایررز جمع کریں گے۔

BroadNet Inference پر

رسائی کنکرنسی
استعمال کے مطابق ادائیگی والی کلید بیک وقت 4 درخواستیں، اور فی منٹ 30 درخواستیں
گھنٹے والی کلید ایک اسٹریم
لامحدود پلان ہر سیشن میں ایک وقت میں ایک درخواست

پلانز براہِ راست کنکرنسی بیچتے ہیں۔ سیشن میں کوئی ٹوکن میٹر نہیں ہوتا اور وہ ایک وقت میں ایک درخواست چلاتا ہے، جیسے ایک ایجنٹ کام کرتا ہے۔ ایک ہی سیشن کی درخواستیں ایک دوسرے کے پیچھے قطار میں لگتی ہیں۔ ایجنٹس متوازی چلانے ہوں تو ہر ایجنٹ کے لیے ایک سیشن خریدیں: ایک آرکسٹریٹر اور تین سب ایجنٹس کو چار سیشن چاہییں۔ ایک کلید میں کئی سیشن ہو سکتے ہیں۔

لامحدود سیشن کیسے کام کرتے ہیں اور مقررہ قیمت پر متوازی کوڈنگ ایجنٹس کیسے چلائیں پڑھیں۔ ایجنٹس اپنا کافی وقت ٹولز چلانے میں گزارتے ہیں، اس لیے مزید سیشن خریدنے سے پہلے اصل اوورلیپ ناپیں۔

عام غلطیاں

  • بغیر پول کے ہر ٹاسک کے لیے ایک ورکر شروع کرنا۔ 100 ٹاسکس کا بیچ بیک وقت 100 درخواستیں بن جاتا ہے۔
  • کلائنٹ ٹائم آؤٹ کو لمبے ریزننگ جواب سے چھوٹا رکھنا۔ سلاٹ ابھی مصروف ہوتا ہے اور کلائنٹ ہار مان لیتا ہے۔

عام سوالات

کنکرنسی کی حد سے تجاوز کرنے پر کیا ہوتا ہے؟

یہ فراہم کنندہ پر منحصر ہے: اضافی درخواست یا تو مسترد کر دی جاتی ہے، اکثر 429 کے ساتھ، یا سلاٹ خالی ہونے تک قطار میں انتظار کرتی ہے۔

کیا اسٹریمنگ ایک کنکرنسی سلاٹ لیتی ہے؟

ہاں۔ اسٹریم کیا گیا جواب آخری chunk آنے تک اپنا سلاٹ گھیرے رکھتا ہے، اس لیے لمبے آؤٹ پٹ سلاٹ کو زیادہ دیر مصروف رکھتے ہیں۔

AI کوڈنگ ایجنٹ کو کتنی بیک وقت درخواستیں چاہییں؟

ایک ایجنٹ کو عموماً ایک چاہیے، کیونکہ وہ اگلے قدم سے پہلے ہر جواب کا انتظار کرتا ہے۔ تین سب ایجنٹس بیک وقت چلانے والے آرکسٹریٹر کو چار تک چاہییں: چار، اگر ان کے چلتے وقت آرکسٹریٹر بھی درخواستیں بھیجتا ہے، اور تین، اگر وہ ان کا انتظار کرتا ہے۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں