ریٹ لمٹ طے کرتی ہے کہ آپ کتنی تیزی سے خرچ کر سکتے ہیں۔ اخراجات کی حد طے کرتی ہے کہ کتنا۔
یہ کیسے کام کرتی ہے
فراہم کنندگان کئی تہوں میں کیپس لگاتے ہیں۔ دو دستاویزی مثالیں:
| فراہم کنندہ | کنٹرول | پہنچنے پر کیا ہوتا ہے |
|---|---|---|
| Anthropic | ہر کیلنڈر مہینے کی ٹیئر کیپ (Start، Build، Scale؛ Custom پر کوئی نہیں) | اگلے مہینے کی پہلی تاریخ 00:00 UTC تک استعمال رکا رہتا ہے؛ HTTP 429 rate_limit_error جس میں error.details.error_code enforced_spend_limit_reached ہوتا ہے، retry-after نہیں |
| Anthropic | ادارے یا workspace پر آپ کی اپنی کم حد | HTTP 400 invalid_request_error، پیغام “You have reached your specified API usage limits” سے شروع ہوتا ہے |
| OpenAI | ہر ٹیئر کی ماہانہ استعمال کی حد | گائیڈ میں بیان نہیں |
| OpenAI | اخراجات کا الرٹ | اطلاع بھیجتا ہے؛ ٹریفک جاری رہتا ہے |
| OpenAI | ادارے یا پروجیکٹ پر سخت حد | متاثرہ درخواستیں 429 لوٹاتی ہیں |
Anthropic کی ٹیئر کیپس ماہانہ USD 500 (Start)، USD 1,000 (Build) اور USD 200,000 (Scale) ہیں۔ OpenAI کی گائیڈ ٹیئر کے حساب سے ماہانہ استعمال کی حدیں بتاتی ہے، Free پر USD 100 سے Grow پر USD 200,000 تک، اور کہتی ہے کہ کل کریڈٹ خریداری مقررہ حدیں پار کرنے پر ٹیئر بڑھتے ہیں۔
مشکل یہ ہے کہ اخراجات کی حد والا 429، ریٹ لمٹ والے 429 جیسا ہی دکھتا ہے۔ Anthropic کے API پر ایرر کوڈ دونوں کو الگ کرتا ہے، اور spend-cap والے جواب میں retry-after ہیڈر نہیں ہوتا:
err = resp.json().get("error", {})
if resp.status_code == 429 and err.get("details", {}).get("error_code") == "enforced_spend_limit_reached":
stop_job_and_alert() # retrying will not help
elif resp.status_code == 429:
backoff_and_retry()
یہ کیوں اہم ہے
- الرٹس دیر سے آتے ہیں۔ ای میل پہنچنے سے پہلے ہی تیز لوپ بہت خرچ کر سکتا ہے۔ سخت کیپ اسے روک دیتی ہے۔
- دوبارہ کوششیں حالات بگاڑتی ہیں۔ جو کلائنٹ ہر 429 پر بیک آف کر کے دوبارہ کوشش کرتا ہے وہ اخراجات کی کیپ پر بے فائدہ بار بار ضرب لگائے گا۔ دونوں کو الگ پہچانیں۔
- مشترکہ کیپس۔ کئی ایپس میں مشترکہ اکاؤنٹ سطح کی کیپ ایک بے قابو جاب کو باقی سب روکنے دیتی ہے۔ فی پروجیکٹ بجٹ یا کوڈ میں آپ کا اپنا بجٹ انہیں الگ رکھتا ہے۔
BroadNet Inference پر
BroadNet کا API ریفرنس استعمال کے مطابق ادائیگی والی کلید پر چھ حدیں درج کرتا ہے۔ لاگت اور تھرو پٹ کو باندھنے والی تین ہیں: فی منٹ 30 درخواستیں، بیک وقت 4 جاری درخواستیں، اور خرچ، جس کی تعریف ہے “the native budget shared by the account’s pay-as-you-go keys” (ترجمہ: اکاؤنٹ کی استعمال کے مطابق ادائیگی والی کلیدوں میں مشترکہ نیٹو بجٹ)؛ باقی ہیں اجازت یافتہ ماڈلز، ایک سال کی کلید کی مدت اور ہر اکاؤنٹ پر زیادہ سے زیادہ دس فعال کلیدیں۔ اکاؤنٹ پری پیڈ ہے، اس لیے بیلنس بیرونی حد ہے۔ دو اسٹیٹس کوڈز اہم ہیں:
- 429: “A rate, concurrency, token-rate or spending limit was reached.” (ترجمہ: ریٹ، concurrency، ٹوکن ریٹ یا اخراجات کی کوئی حد پوری ہو گئی۔)
- 401: کلید غائب، غلط یا ختم شدہ ہے، یا نیٹو PAYG بجٹ ہولڈر بلاک ہے، “including exhausted PAYG allowance” (ترجمہ: ختم ہو چکے PAYG الاؤنس سمیت)۔
BroadNet کا پرائیویسی صفحہ کہتا ہے کہ کلیدیں ماڈل، ریٹ اور خرچ کے حساب سے scoped ہوتی ہیں، لیکن API ریفرنس میں فی کلید یا فی پروجیکٹ بجٹ کی کوئی سیٹنگ نہیں، اس لیے ہر درخواست سے پہلے اپنے کوڈ میں چلتا ہوا بجٹ چیک رکھیں، جیسا کہ LLM API اخراجات کا کنٹرول میں ہے۔ طے شدہ زیادہ سے زیادہ خرچ کے لیے فلیٹ ریٹ پلان یا $0.50 والی گھنٹے والی کلید ڈیزائن کے لحاظ سے ہی خرچ محدود رکھتی ہے۔ دوبارہ کوشش سنبھالنا ایررز اور دوبارہ کوشش کی گائیڈ میں ہے۔