كل واجهة API مشتركة تحمي نفسها بحدود. ومعرفة الحدود السارية تخبرك بأقصى سرعة ممكنة، وبما تفعله حين تصطدم بأحدها.
كيف يعمل
تقيس واجهات LLM API عدة أشياء في آنٍ واحد. فمثلًا تُدرج OpenAI:
- RPM: الطلبات في الدقيقة
- RPD: الطلبات في اليوم
- TPM: الرموز في الدقيقة
- TPD: الرموز في اليوم
أي حد تبلغه أولًا هو الذي يسري. ويضع كثير من المزوّدين أيضًا سقفًا للتزامن، أي عدد الطلبات قيد التنفيذ.
عند تجاوز الحد، يُرجع الخادم 429 Too Many Requests. وتصفه MDN بأن العميل “sent too many requests in a given amount of time” (ترجمة: أرسل طلبات كثيرة جدًا خلال مدة زمنية معيّنة). وقد تذكر الترويسة Retry-After عدد الثواني التي ينبغي انتظارها.
حلقة آمنة لإعادة المحاولة:
import random, time
for attempt in range(5):
r = send()
if r.status_code != 429:
break
wait = float(r.headers.get("Retry-After", 2 ** attempt))
time.sleep(wait + random.random())
تعيد حزم OpenAI SDK الرسمية بالفعل محاولة أخطاء 429 و5xx مع انتظار متزايد؛ اضبط max_retries بدل كتابة حلقتك الخاصة.
لماذا يهم
- الإنتاجية. سقفك الفعلي هو أدنى الحدود كلها. فعلى مفتاح محدود بـ 30 من الطلبات في الدقيقة، كمفاتيح الدفع حسب الاستخدام لدى BroadNet، يستغرق 1,000 طلب ما لا يقل عن 1,000 ÷ 30 دقيقة، مهما كانت سرعة النموذج. وتُجري حاسبة حدود المعدل هذا الحساب لحدودك.
- الموثوقية. تبدو أخطاء 429 غير المعالَجة كأنها انقطاع للخدمة. والانتظار المتزايد يحوّلها إلى تأخيرات قصيرة.
- التكلفة. يُرجع بعض المزوّدين 429 عند بلوغ سقوف الإنفاق أيضًا، وهذا شائع في مفاتيح الدفع حسب الاستخدام. اقرأ جسم الخطأ قبل إعادة المحاولة.
في BroadNet Inference
| نوع المفتاح | الحدود |
|---|---|
| الدفع حسب الاستخدام | 30 من الطلبات في الدقيقة، و4 قيد التنفيذ في آنٍ واحد |
| المفتاح بالساعة | 120 من الطلبات في الدقيقة، وتدفق واحد، و300,000 من الرموز في الدقيقة |
| الخطة غير المحدودة | طلب واحد في كل مرة لكل جلسة، دون عدّاد للرموز |
تُرجع BroadNet الخطأ 429 عند بلوغ حد المعدل أو التزامن أو معدل الرموز أو الإنفاق. انتظر مدة متزايدة ثم أعد المحاولة. يغطي دليل الأخطاء وإعادة المحاولة كل رموز الحالة، ويشرح ما الذي تعنيه «غير محدود» فعلًا الحدود التي تبقى في الخطة ثابتة السعر.
أخطاء شائعة
- إعادة محاولة أخطاء 401 أو 403. هذه مشكلات في المفتاح أو السياسة، لا حدود معدل.
- تشغيل عمّال كثيرين على مفتاح واحد دون محدِّد مشترك. كل عامل ينتظر وحده بينما يُبقي الآخرون المفتاح مشبعًا.