جب API کہتا ہے “آہستہ چلو”، تب فوراً دوبارہ کوشش حالات اور بگاڑ دیتی ہے۔ ایکسپونینشل بیک آف ہر بار زیادہ انتظار کرتا ہے۔
یہ کیسے کام کرتا ہے
ناکامی کے بعد ایک بنیادی تاخیر تک رکیں، پھر ہر نئی ناکامی پر اسے دگنا کریں، ایک زیادہ سے زیادہ حد تک۔ 1 سیکنڈ کی بنیاد اور 32 سیکنڈ کی حد کے ساتھ انتظار 1، 2، 4، 8، 16، 32، 32 سیکنڈ چلتے ہیں۔ مقررہ کوششوں کے بعد رک جائیں اور ایرر آگے بڑھا دیں۔
اکیلا بیک آف کافی نہیں۔ اگر 100 کلائنٹس ایک ہی لمحے ناکام ہوں تو وہ ایک ہی لمحوں پر دوبارہ کوشش بھی کرتے ہیں۔ Marc Brooker کی AWS پوسٹ “Full Jitter” (صفر اور موجودہ حد کے درمیان ایک رینڈم انتظار)، “Equal Jitter” اور “Decorrelated Jitter” کا موازنہ کرتی ہے۔ Equal Jitter سب سے کمزور نکلا، اور Full Jitter “uses less work, but slightly more time.” (ترجمہ: کم کام کرتا ہے، لیکن تھوڑا زیادہ وقت لیتا ہے۔) ان کا نتیجہ: jitter والا بیک آف “should be considered a standard approach for remote clients.” (ترجمہ: ریموٹ کلائنٹس کے لیے معیاری طریقہ سمجھا جانا چاہیے۔)
import random, time
def call_with_backoff(fn, attempts=6, base=1.0, cap=32.0):
for n in range(attempts):
try:
return fn()
except RetryableError:
if n == attempts - 1:
raise
time.sleep(random.uniform(0, min(cap, base * 2 ** n))) # full jitter
یہ کیوں اہم ہے
- 429 بھی شمار ہوتے ہیں۔ OpenAI کی ریٹ لمٹ گائیڈ خبردار کرتی ہے کہ “unsuccessful requests contribute to your per-minute limit, so continuously resending a request won’t work.” (ترجمہ: ناکام درخواستیں بھی آپ کی فی منٹ حد میں شمار ہوتی ہیں، اس لیے درخواست مسلسل دوبارہ بھیجنے سے کام نہیں چلے گا۔) ریٹ لمٹ پر مسلسل ضرب لگاتے رہنے سے آپ باہر ہی رہتے ہیں۔
- دوبارہ کوششیں کئی گنا ہوتی ہیں۔ AWS کی Builders’ Library بتاتی ہے کہ دوبارہ کوششیں “selfish” (ترجمہ: خود غرض) ہوتی ہیں اور اسٹیک میں ایک ہی جگہ دوبارہ کوشش کا مشورہ دیتی ہے؛ ہر لیئر پر دوبارہ کوشش سے لوڈ کئی گنا بڑھ سکتا ہے۔
- ضمنی اثرات۔ پیسے کاٹنے والی کال کو دوبارہ بھیجنا صرف idempotency key کے ساتھ محفوظ ہے۔
- بچاؤ دوبارہ کوشش سے بہتر ہے۔ بیک وقت چلنے والی درخواستوں کو اپنی کنکرنسی کی حد سے نیچے رکھیں، تاکہ 429 پہلے ہی کم آئیں۔
BroadNet Inference پر
BroadNet کی ایرر ٹیبل کہتی ہے کہ 429 کا جواب “response details and bounded backoff” (ترجمہ: جواب کی تفصیلات اور محدود بیک آف) سے دیں اور 500، 502، 503 اور 504 کو “with bounded exponential backoff” (ترجمہ: محدود exponential backoff کے ساتھ) دوبارہ بھیجیں۔ استعمال کے مطابق ادائیگی والی کلید فی منٹ 30 درخواستوں اور بیک وقت 4 درخواستوں کی اجازت دیتی ہے۔ 400، 401، 403، 413 اور 422 پر پہلے وجہ ٹھیک کریں۔ سپورٹ کے لیے X-Request-ID ہیڈر سنبھال کر رکھیں۔ ایررز اور دوبارہ کوشش کی گائیڈ SDK کی دوبارہ کوشش کی تعداد سیٹ کرتی ہے، اور LLM API کے 429 کیسے سنبھالیں میں لمٹر اور قطار کا کوڈ ہے۔ ریٹ لمٹ کیلکولیٹر دکھاتا ہے کہ کسی حد میں کتنی ٹریفک سماتی ہے۔