BroadRouter
Mulai

Exponential backoff

Diperbarui

Exponential backoff adalah strategi percobaan ulang di mana client menunggu makin lama setelah setiap percobaan yang gagal, biasanya menggandakan jedanya sampai batas tertentu, sebelum mencoba lagi. Menambahkan jitter acak pada setiap jeda menyebarkan percobaan ulang dari banyak client agar tidak menghantam server pada saat yang sama.

Disebut juga: backoff eksponensial, retry dengan backoff, percobaan ulang bertahap, exponential backoff, backoff and jitter, retry with backoff, jittered backoff, capped exponential backoff, full jitter

Saat API berkata “pelan-pelan”, langsung mencoba ulang justru memperburuk keadaan. Exponential backoff menunggu lebih lama setiap kali.

Cara kerjanya

Setelah gagal, tunggu selama jeda dasar, lalu gandakan setiap kali gagal lagi, sampai batas maksimum. Dengan jeda dasar 1 detik dan batas 32 detik, jedanya menjadi 1, 2, 4, 8, 16, 32, 32 detik. Berhenti setelah jumlah percobaan tertentu dan teruskan error-nya.

Backoff saja tidak cukup. Jika 100 client gagal pada saat yang sama, semuanya juga akan mencoba ulang pada saat yang sama. Tulisan AWS dari Marc Brooker membandingkan “Full Jitter” (jeda acak antara nol dan batas saat ini), “Equal Jitter”, dan “Decorrelated Jitter”. Equal Jitter tampil paling lemah, dan Full Jitter “uses less work, but slightly more time.” (terjemahan: memakai lebih sedikit kerja, tetapi sedikit lebih banyak waktu.) Kesimpulannya: backoff dengan jitter “should be considered a standard approach for remote clients.” (terjemahan: sebaiknya dianggap pendekatan standar untuk client jarak jauh.)

import random, time

def call_with_backoff(fn, attempts=6, base=1.0, cap=32.0):
    for n in range(attempts):
        try:
            return fn()
        except RetryableError:
            if n == attempts - 1:
                raise
            time.sleep(random.uniform(0, min(cap, base * 2 ** n)))  # full jitter

Kenapa ini penting

  • 429 juga dihitung. Panduan rate limit OpenAI memperingatkan bahwa “unsuccessful requests contribute to your per-minute limit, so continuously resending a request won’t work.” (terjemahan: permintaan yang gagal ikut dihitung dalam batas per menit Anda, jadi terus mengirim ulang permintaan tidak akan berhasil.) Terus menghantam rate limit membuat Anda tetap terkunci.
  • Percobaan ulang berlipat ganda. Builders’ Library dari AWS mencatat bahwa percobaan ulang itu “selfish” (terjemahan: egois) dan menyarankan percobaan ulang di satu titik saja dalam stack; mencoba ulang di setiap lapisan bisa melipatgandakan beban berkali-kali.
  • Efek samping. Mencoba ulang panggilan yang menarik biaya hanya aman dengan idempotency key.
  • Mencegah lebih baik daripada mencoba ulang. Batasi permintaan yang berjalan di bawah batas konkurensi Anda agar 429 jarang terjadi sejak awal.

Di BroadNet Inference

Tabel error BroadNet meminta Anda menanggapi 429 dengan “response details and bounded backoff” (terjemahan: detail respons dan backoff yang dibatasi) dan mencoba ulang 500, 502, 503, dan 504 “with bounded exponential backoff.” (terjemahan: dengan exponential backoff yang dibatasi.) Kunci bayar sesuai pemakaian mengizinkan 30 permintaan per menit dan 4 permintaan berjalan bersamaan. Untuk 400, 401, 403, 413, dan 422, perbaiki penyebabnya dulu. Simpan header X-Request-ID untuk dukungan. Panduan error dan percobaan ulang mengatur jumlah percobaan ulang SDK, dan cara menangani 429 di API LLM berisi kode limiter dan antrean. Kalkulator rate limit menunjukkan seberapa banyak trafik yang muat di bawah sebuah batas.

Pertanyaan umum

Error apa saja yang perlu dicoba ulang dengan backoff?

Rate limit (429), error server (5xx), timeout, dan koneksi yang putus. Jangan mencoba ulang 400, 401, 403, 413, atau 422 tanpa perubahan; perbaiki dulu permintaan atau kuncinya.

Kenapa perlu jitter?

Tanpa jitter, client yang gagal bersamaan akan mencoba ulang bersamaan dan membebani server lagi. Jitter mengacak setiap jeda sehingga percobaan ulang tersebar.

Apakah SDK OpenAI sudah melakukan backoff?

Ya. SDK resmi OpenAI mencoba ulang error koneksi, respons 429, dan 5xx dengan exponential backoff singkat. Atur max_retries secara eksplisit, lebih tinggi untuk pekerjaan batch panjang, dan tambahkan limiter Anda sendiri di atasnya.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity