BroadRouter
Mulakan

Backoff eksponen (exponential backoff)

Dikemas kini

Backoff eksponen ialah strategi cuba semula di mana klien menunggu lebih lama selepas setiap percubaan yang gagal, biasanya menggandakan kelewatan sehingga had tertentu, sebelum mencuba lagi. Menambah jitter rawak pada setiap penantian menyebarkan cubaan semula daripada banyak klien supaya mereka tidak mengenai pelayan pada saat yang sama.

Juga dikenali sebagai: backoff eksponen, cuba semula dengan backoff, backoff dan jitter, exponential backoff, backoff and jitter, retry with backoff, jittered backoff, capped exponential backoff, full jitter

Apabila API berkata “perlahankan”, mencuba semula serta-merta hanya memburukkan keadaan. Backoff eksponen menunggu lebih lama setiap kali.

Cara ia berfungsi

Selepas kegagalan, tunggu kelewatan asas, kemudian gandakannya pada setiap kegagalan baharu, sehingga had maksimum. Dengan asas 1 saat dan had 32 saat, tempoh menunggu ialah 1, 2, 4, 8, 16, 32, 32 saat. Berhenti selepas bilangan percubaan yang tetap dan paparkan ralat.

Backoff sahaja tidak mencukupi. Jika 100 klien gagal pada saat yang sama, kesemuanya juga mencuba semula pada saat yang sama. Artikel AWS oleh Marc Brooker membandingkan “Full Jitter” (penantian rawak antara sifar dan had semasa), “Equal Jitter” dan “Decorrelated Jitter”. Equal Jitter paling lemah, dan Full Jitter “uses less work, but slightly more time.” (Terjemahan BroadRouter: “menggunakan kurang kerja, tetapi sedikit lebih banyak masa.”) Kesimpulannya: backoff dengan jitter “should be considered a standard approach for remote clients.” (Terjemahan BroadRouter: “patut dianggap pendekatan standard untuk klien jauh.”)

import random, time

def call_with_backoff(fn, attempts=6, base=1.0, cap=32.0):
    for n in range(attempts):
        try:
            return fn()
        except RetryableError:
            if n == attempts - 1:
                raise
            time.sleep(random.uniform(0, min(cap, base * 2 ** n)))  # full jitter

Mengapa ia penting

  • 429 juga dikira. Panduan had kadar OpenAI memberi amaran bahawa “unsuccessful requests contribute to your per-minute limit, so continuously resending a request won’t work.” (Terjemahan BroadRouter: “permintaan yang gagal dikira dalam had seminit anda, jadi menghantar semula permintaan secara berterusan tidak akan berhasil.”) Terus mengasak had kadar hanya membuatkan anda terus disekat.
  • Cubaan semula berganda. Builders’ Library AWS menyatakan cubaan semula bersifat “selfish” (mementingkan diri) dan mengesyorkan cuba semula di satu titik sahaja dalam tindanan; mencuba semula di setiap lapisan boleh menggandakan beban berkali-kali.
  • Kesan sampingan. Mencuba semula panggilan yang mengenakan bayaran hanya selamat dengan kunci idempotensi.
  • Pencegahan lebih baik daripada cuba semula. Hadkan permintaan serentak di bawah had keserentakan anda supaya 429 jarang berlaku sejak awal.

Di BroadNet Inference

Jadual ralat BroadNet menyarankan agar 429 dijawab dengan “response details and bounded backoff” (Terjemahan BroadRouter: “butiran respons dan backoff yang terhad”) dan 500, 502, 503 serta 504 dicuba semula “with bounded exponential backoff.” (Terjemahan BroadRouter: “dengan backoff eksponen yang terhad.”) Kunci bayar ikut guna membenarkan 30 permintaan seminit dan 4 serentak. Untuk 400, 401, 403, 413 dan 422, betulkan puncanya dahulu. Simpan pengepala X-Request-ID untuk sokongan. Panduan ralat dan cuba semula menetapkan bilangan cuba semula SDK, dan cara mengendalikan 429 API LLM mengandungi kod pengehad dan baris gilir. Kalkulator had kadar menunjukkan berapa banyak trafik yang muat di bawah sesuatu had.

Soalan lazim

Ralat manakah yang patut saya cuba semula dengan backoff?

Had kadar (429), ralat pelayan (5xx), tamat masa dan sambungan yang terputus. Jangan cuba semula 400, 401, 403, 413 atau 422 tanpa perubahan; betulkan permintaan atau kunci terlebih dahulu.

Mengapa perlu menambah jitter?

Tanpanya, klien yang gagal bersama akan mencuba semula bersama dan membebankan pelayan sekali lagi. Jitter merawakkan setiap penantian supaya cubaan semula tersebar.

Adakah SDK OpenAI sudah membuat backoff?

Ya. SDK OpenAI rasmi mencuba semula ralat sambungan serta respons 429 dan 5xx dengan backoff eksponen yang singkat. Tetapkan max_retries secara jelas, lebih tinggi untuk kerja kelompok yang panjang, dan tambah pengehad anda sendiri di atasnya.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity