BroadRouter
شروع کریں

ریٹ لمٹ (rate limit)

اپ ڈیٹ

ریٹ لمٹ وہ حد ہے جو کوئی API طے کرتا ہے کہ ایک کلائنٹ کسی مدت میں اسے کتنا استعمال کر سکتا ہے، جیسے فی منٹ درخواستیں یا فی منٹ ٹوکن۔ حد سے زیادہ درخواستیں رد کر دی جاتی ہیں، عموماً HTTP 429 Too Many Requests کے ساتھ، جب تک استعمال دوبارہ حد سے نیچے نہ آ جائے۔

دوسرے نام: ریٹ لمٹ، شرح کی حد، درخواستوں کی حد، 429 ایرر، rate limit kya hai، 429 error kya hai، rate limit، RPM، TPM، requests per minute، tokens per minute، HTTP 429، throttling

ہر مشترکہ API حدوں سے اپنی حفاظت کرتا ہے۔ کون سی حدیں لاگو ہیں، یہ جاننے سے پتہ چلتا ہے کہ آپ کتنی تیزی سے چل سکتے ہیں اور حد سے ٹکرانے پر کیا کرنا ہے۔

یہ کیسے کام کرتی ہے

LLM API ایک ساتھ کئی چیزیں ناپتے ہیں۔ مثال کے طور پر OpenAI یہ درج کرتا ہے:

  • RPM: فی منٹ درخواستیں
  • RPD: فی دن درخواستیں
  • TPM: فی منٹ ٹوکن
  • TPD: فی دن ٹوکن

جس حد سے آپ پہلے ٹکراتے ہیں، وہی لاگو ہوتی ہے۔ کئی فراہم کنندگان concurrency، یعنی بیک وقت جاری درخواستوں کی تعداد، پر بھی حد لگاتے ہیں۔

حد پار ہونے پر سرور 429 Too Many Requests لوٹاتا ہے۔ MDN اس کا مطلب یہ بتاتا ہے کہ کلائنٹ نے “sent too many requests in a given amount of time” (ترجمہ: ایک مقررہ وقت میں بہت زیادہ درخواستیں بھیجیں)۔ Retry-After ہیڈر بتا سکتا ہے کہ کتنے سیکنڈ انتظار کرنا ہے۔

ایک محفوظ دوبارہ کوشش والا لوپ:

import random, time

for attempt in range(5):
    r = send()
    if r.status_code != 429:
        break
    wait = float(r.headers.get("Retry-After", 2 ** attempt))
    time.sleep(wait + random.random())

OpenAI کے سرکاری SDK پہلے سے ہی 429 اور 5xx ایررز پر بیک آف کے ساتھ دوبارہ کوشش کرتے ہیں؛ اپنا لوپ لکھنے کے بجائے max_retries سیٹ کریں۔

یہ کیوں اہم ہے

  • تھرو پٹ۔ آپ کی اصل چھت تمام حدوں میں سب سے نچلی ہے۔ فی منٹ 30 درخواستوں والی کلید پر، جیسی BroadNet کی استعمال کے مطابق ادائیگی والی کلیدیں ہیں، 1,000 درخواستوں میں کم از کم 1,000 ÷ 30 منٹ لگتے ہیں، ماڈل چاہے کتنا ہی تیز ہو۔ ریٹ لمٹ کیلکولیٹر آپ کی اپنی حدوں کے لیے حساب لگاتا ہے۔
  • بھروسا۔ بغیر سنبھالے 429 آؤٹیج جیسے لگتے ہیں۔ بیک آف انہیں مختصر تاخیر میں بدل دیتا ہے۔
  • لاگت۔ کچھ فراہم کنندگان اخراجات کی حد پر بھی 429 لوٹاتے ہیں، جو استعمال کے مطابق ادائیگی والی کلیدوں پر عام ہے۔ دوبارہ کوشش سے پہلے ایرر باڈی پڑھیں۔

BroadNet Inference پر

کلید کی قسم حدیں
استعمال کے مطابق ادائیگی فی منٹ 30 درخواستیں، بیک وقت 4 جاری درخواستیں
گھنٹے والی کلید فی منٹ 120 درخواستیں، ایک اسٹریم، فی منٹ 300,000 ٹوکن
لامحدود پلان فی سیشن ایک وقت میں ایک درخواست، کوئی ٹوکن میٹر نہیں

ریٹ، concurrency، ٹوکن ریٹ یا اخراجات کی حد پوری ہونے پر BroadNet، 429 لوٹاتا ہے۔ رکیں اور دوبارہ کوشش کریں۔ ایررز اور دوبارہ کوشش کی گائیڈ ہر اسٹیٹس کوڈ کا احاطہ کرتی ہے، اور ”لامحدود“ کا اصل مطلب بتاتا ہے کہ مقررہ قیمت والے پلان میں بھی کون سی حدیں رہتی ہیں۔

عام غلطیاں

  • 401 یا 403 ایررز پر دوبارہ کوشش کرنا۔ یہ کلید یا پالیسی کے مسائل ہیں، ریٹ لمٹ نہیں۔
  • ایک ہی کلید پر مشترکہ لمٹر کے بغیر کئی ورکرز چلانا۔ ہر ورکر اکیلا رکتا ہے، جبکہ باقی کلید کو بھرا رکھتے ہیں۔

عام سوالات

کیا 429 پر دوبارہ کوشش کرنی چاہیے؟

ہاں، کچھ انتظار کے بعد۔ Retry-After ہیڈر ہو تو اس پر عمل کریں؛ ورنہ رینڈم jitter کے ساتھ exponential backoff استعمال کریں، اور کوششوں کی تعداد محدود رکھیں۔ اسی اسٹیٹس کوڈ والے اخراجات کی حد یا بلنگ کے ایررز پر دوبارہ کوشش نہ کریں۔

کیا ناکام درخواستیں بھی حد میں گنی جاتی ہیں؟

اکثر، ہاں۔ OpenAI کی گائیڈ کہتی ہے کہ ناکام درخواستیں بھی فی منٹ حدوں میں گنی جاتی ہیں، اس لیے لوپ میں فوراً دوبارہ کوشش کرنے سے حالات مزید بگڑتے ہیں۔

ریٹ لمٹ اور concurrency حد میں کیا فرق ہے؟

ریٹ لمٹ وقت کے ساتھ درخواستیں یا ٹوکن گنتی ہے۔ concurrency حد ایک ہی لمحے میں چلنے والی درخواستیں گنتی ہے۔ کوئی کلید ان میں سے کسی سے بھی پہلے ٹکرا سکتی ہے۔

Markdown میں پڑھیںChatGPT سے پوچھیںClaude سے پوچھیںPerplexity سے پوچھیں