Bir API “yavaşla” dediğinde hemen yeniden denemek durumu kötüleştirir. Üstel geri çekilme her seferinde daha uzun bekler.
Nasıl çalışır
Bir hatadan sonra temel bir gecikme kadar bekleyin, ardından her yeni hatada bunu bir üst sınıra kadar ikiye katlayın. 1 saniyelik bir temel ve 32 saniyelik bir üst sınırla beklemeler 1, 2, 4, 8, 16, 32, 32 saniye olur. Sabit sayıda denemeden sonra durun ve hatayı yukarı iletin.
Tek başına geri çekilme yeterli değildir. 100 istemci aynı anda başarısız olursa, hepsi aynı anlarda yeniden dener. Marc Brooker’ın AWS yazısı “Full Jitter” (sıfır ile mevcut üst sınır arasında rastgele bir bekleme), “Equal Jitter” ve “Decorrelated Jitter” yöntemlerini karşılaştırır. En zayıf sonucu Equal Jitter verdi; Full Jitter ise “uses less work, but slightly more time.” (çeviri: daha az iş, ama biraz daha fazla zaman harcar.) Vardığı sonuç: jitter’lı geri çekilme “should be considered a standard approach for remote clients.” (çeviri: uzak istemciler için standart bir yaklaşım olarak kabul edilmelidir.)
import random, time
def call_with_backoff(fn, attempts=6, base=1.0, cap=32.0):
for n in range(attempts):
try:
return fn()
except RetryableError:
if n == attempts - 1:
raise
time.sleep(random.uniform(0, min(cap, base * 2 ** n))) # full jitter
Neden önemli
- 429’lar da sayılır. OpenAI’nin hız sınırı rehberi “unsuccessful requests contribute to your per-minute limit, so continuously resending a request won’t work.” (çeviri: başarısız istekler dakika başına sınırınıza dahil edilir, bu yüzden bir isteği sürekli yeniden göndermek işe yaramaz.) diye uyarır. Bir hız sınırına yüklenmeye devam etmek sizi kilitli tutar.
- Yeniden denemeler katlanır. AWS’nin Builders’ Library’si yeniden denemelerin “selfish” (çeviri: bencil) olduğunu belirtir ve yığında tek bir noktada yeniden denemeyi önerir; her katmanda yeniden denemek yükü kat kat artırabilir.
- Yan etkiler. Para çeken bir çağrıyı yeniden denemek ancak bir idempotency anahtarıyla güvenlidir.
- Önlemek, yeniden denemekten iyidir. İşlemdeki istekleri eşzamanlılık sınırınızın altında tutun; böylece 429’lar en başta nadir olur.
BroadNet Inference’ta
BroadNet’in hata tablosu, 429’a “response details and bounded backoff” (çeviri: yanıt ayrıntıları ve sınırlı geri çekilme) ile karşılık vermenizi ve 500, 502, 503 ve 504’ü “with bounded exponential backoff.” (çeviri: sınırlı üstel geri çekilmeyle.) yeniden denemenizi söyler. Kullandıkça öde anahtarı dakikada 30 isteğe ve aynı anda 4 isteğe izin verir. 400, 401, 403, 413 ve 422 için önce nedeni düzeltin. Destek için X-Request-ID başlığını saklayın. Hatalar ve yeniden denemeler rehberi SDK yeniden deneme sayılarını ayarlar; LLM API 429 hataları nasıl ele alınır yazısında sınırlayıcı ve kuyruk kodu bulunur. Hız sınırı hesaplayıcısı, bir sınırın altına ne kadar trafik sığdığını gösterir.