BroadRouter

Cara mengatasi error 429 API LLM: backoff, jitter, dan limiter

Oleh tim BroadNet Inference · 5 menit baca · Dipublikasikan · Diperbarui

Error 429 berarti Anda menyentuh batas laju, konkurensi, atau pengeluaran. Coba ulang dengan exponential backoff yang dibatasi plus jitter acak, dan patuhi Retry-After jika dikirim. Lalu cegah sebagian besar 429: batasi permintaan yang sedang berjalan dengan semaphore sesuai batas kunci, dan antrekan sisanya. Coba ulang 5xx dengan cara yang sama; error 4xx lainnya diperbaiki, bukan dicoba ulang.

Error 429 berarti trafik Anda melewati sebuah rate limit (batas laju): permintaan per menit, permintaan yang sedang berjalan (in flight), token per menit, atau pengeluaran. Atasi dalam dua bagian. Retry dengan benar: exponential backoff yang dibatasi dengan jitter acak, dan patuhi Retry-After. Kirim lebih sedikit sekaligus: semaphore sesuai batas permintaan berjalan milik kunci, ditambah antrean. Keduanya ada di bawah, lengkap dengan kodenya.

Untuk referensi kode status lengkap, lihat panduan error dan retry; untuk agen yang berjalan berjam-jam dengan checkpoint dan timeout, lihat agen yang berjalan lama: timeout dan retry.

Apa beda 429 dan 5xx?

Status Masalah siapa Coba ulang? Caranya
429 Trafik Anda melewati batas Ya Backoff dengan jitter; patuhi Retry-After; turunkan konkurensi
500 / 502 / 503 / 504 Sisi server Ya Exponential backoff yang dibatasi
Koneksi terputus, timeout Jaringan atau server Biasanya Backoff; untuk stream, hanya jika tagihan baru bisa diterima
400 / 422 Permintaan salah Tidak Perbaiki payload
401 / 402 / 403 Kunci, saldo, atau kebijakan Tidak Perbaiki kunci, isi saldo akun, perbaiki allow-list
413 Permintaan terlalu besar Tidak Perkecil

Di BroadNet Inference, 429 bisa berarti salah satu dari empat batas: laju, konkurensi, laju token, atau pengeluaran. Batas pengeluaran tidak akan hilang dalam 30 detik. Dokumentasi BroadNet tidak menyebut field mana di body error yang menamai batasnya, jadi catat body-nya dan bandingkan dengan batas yang tertera di detail kunci Anda.

Dataset terbuka kami tentang free tier dan rate limit API LLM membandingkan apa yang dipublikasikan 14 penyedia tentang akses gratis, rate limit awal, syarat kartu, dan pelatihan dengan data free tier, beserta sumber dan tanggal setiap nilainya.

Batas apa saja yang memicu 429?

Kenali angka yang Anda hadapi. Di BroadNet Inference:

Jenis kunci Permintaan / menit Berjalan bersamaan Lainnya
Bayar sesuai pemakaian 30 4 Anggaran pengeluaran bersama
Kunci per jam 120 1 stream 300,000 token / menit
Sesi paket unlimited — 1 permintaan per sesi Tanpa meteran token

Untuk LLM, angka permintaan berjalan paling penting. Jawaban streaming menahan slotnya sampai token terakhir tiba, jadi jawaban panjang membuat slot itu sibuk selama model menuliskannya (BroadNet menyebut kecepatan umum sekitar 100 token per detik). Jika Anda mengirim panggilan paralel lebih banyak daripada 4 slot milik kunci, panggilan kelebihannya kena 429 meskipun Anda hanya mengirim segelintir permintaan di menit itu. Itu masalah konkurensi, dan backoff saja menanganinya dengan buruk. Untuk menentukan jumlah worker terhadap suatu batas sebelum peluncuran, pakai kalkulator rate limit LLM gratis. Untuk job tetap berisi banyak item, perencana job batch LLM mengubah batas yang sama menjadi perkiraan waktu jalan. Penyedia lain menghitung dengan cara berbeda (token per menit, permintaan per hari, atau permintaan berjalan); rate limit API LLM per penyedia membandingkan 13 penyedia berdasarkan dokumentasi mereka sendiri.

Bagaimana menulis backoff dengan jitter?

Exponential backoff biasa menunggu 1, 2, 4, 8 detik. Jika seratus worker dibatasi pada saat yang sama, semuanya kembali pada saat yang sama pula. Simulasi AWS dengan 100 klien yang saling berebut menemukan bahwa full jitter memangkas jumlah panggilan lebih dari separuh dan selesai lebih cepat daripada backoff tanpa jitter. Versi paling sederhana, full jitter, menunggu waktu acak antara nol dan batas eksponensial:

import os, random, time
from openai import OpenAI, RateLimitError, APIStatusError, APIConnectionError

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"], max_retries=0)

RETRYABLE = {429, 500, 502, 503, 504}

def call_with_backoff(max_attempts=6, base=1.0, cap=60.0, **kwargs):
    for attempt in range(max_attempts):
        try:
            return client.chat.completions.create(**kwargs)
        except (RateLimitError, APIStatusError, APIConnectionError) as e:
            status = getattr(e, "status_code", None)
            if status is not None and status not in RETRYABLE:
                raise  # 400, 401, 403...: retrying will not help
            if attempt == max_attempts - 1:
                raise
            retry_after = None
            if getattr(e, "response", None) is not None:
                retry_after = e.response.headers.get("retry-after")
            wait = random.uniform(0, min(cap, base * 2 ** attempt))
            if retry_after and retry_after.isdigit():
                wait = max(wait, float(retry_after))
            time.sleep(wait)

max_retries=0 mematikan retry bawaan SDK agar Anda tidak mencoba ulang dua kali. Jika perilaku bawaan SDK sudah cukup, kebalikannya juga bisa: tidak usah memakai loop Anda sendiri dan atur max_retries=4 di klien, seperti yang ditunjukkan panduan SDK Python. SDK resmi Python dan Node secara default mencoba ulang error koneksi, 408, 409, 429, dan 5xx sebanyak dua kali.

Retry-After adalah header standar (RFC 9110) yang bisa berisi detik atau tanggal. Dokumentasi BroadNet tidak menjanjikannya, jadi kode di atas memperlakukannya sebagai opsional.

Bagaimana mencegah 429 sebelum terjadi?

Batasi permintaan yang sedang berjalan sesuai batas kunci. Di Python, asyncio.Semaphore melakukannya dengan satu objek dan satu blok async with. Kode ini memakai 4 sebagai contoh; atur nilainya ke batas permintaan berjalan milik kunci Anda (4 pada kunci BroadNet bayar sesuai pemakaian):

import asyncio, os
from openai import AsyncOpenAI

client = AsyncOpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"], max_retries=4)
slots = asyncio.Semaphore(4)  # match the key's in-flight limit

async def ask(prompt):
    async with slots:
        r = await client.chat.completions.create(
            model="broadnet/gemma-4-26b-a4b",
            messages=[{"role": "user", "content": prompt}],
        )
        return r.choices[0].message.content

async def main(prompts):
    return await asyncio.gather(*(ask(p) for p in prompts))

results = asyncio.run(main(["Summarise A", "Summarise B", "Summarise C"]))

gather memulai semua task, tetapi yang berjalan bersamaan hanya sebanyak yang diizinkan semaphore. Sisanya menunggu di antrean semaphore. Di Node, paket p-limit melakukan hal yang sama, lagi-lagi dengan 4 sebagai nilai contoh:

// ES module (top-level await). npm install openai p-limit
import OpenAI from "openai";
import pLimit from "p-limit";

const client = new OpenAI({ baseURL: "https://inference.broadnet.ai/v1", apiKey: process.env.BROADNET_API_KEY, maxRetries: 4 });
const limit = pLimit(4); // match the key's in-flight limit

async function ask(prompt) {
  const r = await client.chat.completions.create({
    model: "broadnet/gemma-4-26b-a4b",
    messages: [{ role: "user", content: prompt }],
  });
  return r.choices[0].message.content;
}

const prompts = ["Summarise A", "Summarise B", "Summarise C"];
const results = await Promise.all(prompts.map((p) => limit(() => ask(p))));

Jika ada batas per menit juga, tambahkan token bucket yang melepas satu izin setiap 60 / rpm detik, dengan rpm adalah batas permintaan per menit milik kunci Anda (30 pada kunci BroadNet bayar sesuai pemakaian).

Kapan Anda butuh antrean sungguhan?

Semaphore hanya hidup di satu proses. Begitu beberapa worker atau server berbagi satu kunci, batasnya juga dibagi dan setiap proses hanya melihat trafiknya sendiri. Lalu:

  1. Masukkan job ke antrean bersama (Redis, SQS, tabel database).
  2. Jalankan consumer dalam jumlah tetap, sama dengan batas permintaan berjalan milik kunci.
  3. Beri setiap job sebuah ID dan simpan hasil berdasarkan ID, agar job yang dicoba ulang tidak berjalan dua kali.
  4. Kirim trafik interaktif dan trafik batch lewat kunci atau antrean terpisah, agar tumpukan batch tidak pernah menghalangi pengguna yang sedang menunggu balasan.

Untuk job massal berisi ribuan item tanpa Batch API, lihat runner batch yang bisa dilanjutkan.

Kesalahan retry mana yang mengubah 429 menjadi gangguan layanan?

  • Retry tanpa batas. Loop retry tanpa batas saat gangguan panjang melipatgandakan beban Anda dan, pada penagihan per token, tagihan Anda.
  • Mencoba ulang stream yang setengah jadi secara membabi buta. Jika stream sudah mengembalikan token, retry adalah inferensi baru dan pengguna bisa melihat teks dua kali. Lihat artikel streaming untuk mendeteksi stream yang tidak lengkap.
  • Mencoba ulang error akun. 401 karena jatah bayar sesuai pemakaian habis atau 402 karena saldo tidak cukup tidak akan beres sendiri.

Catat setiap retry beserta status, waktu tunggu, dan header respons X-Request-ID, yang diminta dokumentasi BroadNet untuk disimpan demi keperluan dukungan. Tingkat retry yang naik adalah peringatan paling awal bahwa Anda butuh kapasitas lebih; logging pemakaian menunjukkan cara mencatatnya.

Posisi BroadNet Inference

Batas BroadNet dipublikasikan dan cukup kecil untuk dijadikan dasar desain: 4 permintaan berjalan bersamaan pada kunci bayar sesuai pemakaian. Itu cocok untuk aplikasi dan agen, tetapi terlalu sempit untuk job massal yang menginginkan ratusan panggilan paralel pada satu kunci. Untuk agen, paket unlimited tidak punya meteran token dan menjalankan satu permintaan dalam satu waktu per sesi; untuk pekerjaan paralel Anda menambah sesi, seperti dijelaskan di menjalankan coding agent paralel. Batas terkini ada di referensi API.

Pertanyaan umum

Apa arti HTTP 429 di API LLM?

Too Many Requests (terlalu banyak permintaan). Anda melewati batas permintaan per menit, permintaan yang sedang berjalan, token per menit, atau pengeluaran. Permintaan itu tidak diproses, jadi aman untuk dikirim lagi setelah menunggu.

Berapa lama harus menunggu sebelum mencoba ulang 429?

Pakai Retry-After jika server mengirimnya. Jika tidak, mulai dari sekitar satu detik, gandakan di setiap percobaan, beri batas sekitar 30 sampai 60 detik, dan pilih waktu tunggu acak antara nol dan batas itu. Berhenti setelah empat sampai enam percobaan.

Apakah error 500 dan 503 dari API LLM perlu dicoba ulang?

Ya, dengan backoff terbatas yang sama. Keduanya masalah di sisi server. Error 400, 401, 403, atau 422 akan gagal dengan cara yang sama setiap kali, jadi perbaiki saja.

Apakah SDK OpenAI otomatis mencoba ulang 429?

Ya. SDK resmi Python dan Node secara default mencoba ulang error koneksi, 408, 409, 429, dan 5xx sebanyak dua kali dengan exponential backoff singkat. Naikkan max_retries untuk job batch dan tambahkan batas konkurensi Anda sendiri.

Kenapa saya kena 429 padahal masih di bawah batas permintaan per menit?

Biasanya karena batas konkurensi. Respons streaming yang panjang tetap berjalan selama banyak detik, sehingga beberapa panggilan paralel saja bisa menyentuh batas permintaan berjalan sementara hitungan per menitnya terlihat rendah.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity