BroadRouter
Başlayın

Üstel geri çekilme (exponential backoff)

Güncellendi

Üstel geri çekilme (exponential backoff), istemcinin her başarısız denemeden sonra tekrar denemeden önce daha uzun beklediği, genellikle gecikmeyi bir üst sınıra kadar ikiye katladığı bir yeniden deneme stratejisidir. Her beklemeye rastgele jitter eklemek, birçok istemcinin yeniden denemelerini yayar; böylece sunucuya aynı anda yüklenmezler.

Diğer adları: üstel geri çekilme, üstel bekleme, jitter ile yeniden deneme, kademeli yeniden deneme, exponential backoff, backoff and jitter, retry with backoff, jittered backoff, capped exponential backoff, full jitter

Bir API “yavaşla” dediğinde hemen yeniden denemek durumu kötüleştirir. Üstel geri çekilme her seferinde daha uzun bekler.

Nasıl çalışır

Bir hatadan sonra temel bir gecikme kadar bekleyin, ardından her yeni hatada bunu bir üst sınıra kadar ikiye katlayın. 1 saniyelik bir temel ve 32 saniyelik bir üst sınırla beklemeler 1, 2, 4, 8, 16, 32, 32 saniye olur. Sabit sayıda denemeden sonra durun ve hatayı yukarı iletin.

Tek başına geri çekilme yeterli değildir. 100 istemci aynı anda başarısız olursa, hepsi aynı anlarda yeniden dener. Marc Brooker’ın AWS yazısı “Full Jitter” (sıfır ile mevcut üst sınır arasında rastgele bir bekleme), “Equal Jitter” ve “Decorrelated Jitter” yöntemlerini karşılaştırır. En zayıf sonucu Equal Jitter verdi; Full Jitter ise “uses less work, but slightly more time.” (çeviri: daha az iş, ama biraz daha fazla zaman harcar.) Vardığı sonuç: jitter’lı geri çekilme “should be considered a standard approach for remote clients.” (çeviri: uzak istemciler için standart bir yaklaşım olarak kabul edilmelidir.)

import random, time

def call_with_backoff(fn, attempts=6, base=1.0, cap=32.0):
    for n in range(attempts):
        try:
            return fn()
        except RetryableError:
            if n == attempts - 1:
                raise
            time.sleep(random.uniform(0, min(cap, base * 2 ** n)))  # full jitter

Neden önemli

  • 429’lar da sayılır. OpenAI’nin hız sınırı rehberi “unsuccessful requests contribute to your per-minute limit, so continuously resending a request won’t work.” (çeviri: başarısız istekler dakika başına sınırınıza dahil edilir, bu yüzden bir isteği sürekli yeniden göndermek işe yaramaz.) diye uyarır. Bir hız sınırına yüklenmeye devam etmek sizi kilitli tutar.
  • Yeniden denemeler katlanır. AWS’nin Builders’ Library’si yeniden denemelerin “selfish” (çeviri: bencil) olduğunu belirtir ve yığında tek bir noktada yeniden denemeyi önerir; her katmanda yeniden denemek yükü kat kat artırabilir.
  • Yan etkiler. Para çeken bir çağrıyı yeniden denemek ancak bir idempotency anahtarıyla güvenlidir.
  • Önlemek, yeniden denemekten iyidir. İşlemdeki istekleri eşzamanlılık sınırınızın altında tutun; böylece 429’lar en başta nadir olur.

BroadNet Inference’ta

BroadNet’in hata tablosu, 429’a “response details and bounded backoff” (çeviri: yanıt ayrıntıları ve sınırlı geri çekilme) ile karşılık vermenizi ve 500, 502, 503 ve 504’ü “with bounded exponential backoff.” (çeviri: sınırlı üstel geri çekilmeyle.) yeniden denemenizi söyler. Kullandıkça öde anahtarı dakikada 30 isteğe ve aynı anda 4 isteğe izin verir. 400, 401, 403, 413 ve 422 için önce nedeni düzeltin. Destek için X-Request-ID başlığını saklayın. Hatalar ve yeniden denemeler rehberi SDK yeniden deneme sayılarını ayarlar; LLM API 429 hataları nasıl ele alınır yazısında sınırlayıcı ve kuyruk kodu bulunur. Hız sınırı hesaplayıcısı, bir sınırın altına ne kadar trafik sığdığını gösterir.

Sık sorulan sorular

Hangi hataları geri çekilmeyle yeniden denemeliyim?

Hız sınırları (429), sunucu hataları (5xx), zaman aşımları ve kopan bağlantılar. 400, 401, 403, 413 veya 422 hatalarını olduğu gibi yeniden denemeyin; önce isteği veya anahtarı düzeltin.

Neden jitter eklenir?

Jitter olmadan, birlikte başarısız olan istemciler birlikte yeniden dener ve sunucuyu yine aşırı yükler. Jitter her beklemeyi rastgele hâle getirir; böylece yeniden denemeler zamana yayılır.

OpenAI SDK'ları zaten geri çekilme yapıyor mu?

Evet. Resmî OpenAI SDK'ları bağlantı hatalarını, 429 ve 5xx yanıtlarını kısa bir üstel geri çekilmeyle yeniden dener. max_retries değerini açıkça ayarlayın, uzun toplu işler için daha yüksek tutun ve üstüne kendi sınırlayıcınızı ekleyin.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor