BroadRouter
Mulai

Rate limit (batas laju)

Diperbarui

Rate limit adalah batas yang diterapkan API pada seberapa banyak client boleh memakainya dalam rentang waktu tertentu, misalnya permintaan per menit atau token per menit. Permintaan yang melebihi batas ditolak, biasanya dengan HTTP 429 Too Many Requests, sampai pemakaian kembali di bawah batas.

Disebut juga: rate limit, batas laju, batas permintaan, RPM, TPM, permintaan per menit, token per menit, requests per minute, tokens per minute, HTTP 429, error 429, throttling

Setiap API bersama melindungi dirinya dengan batas. Dengan mengetahui batas mana yang berlaku, Anda tahu seberapa cepat bisa berjalan dan apa yang harus dilakukan saat terkena batas.

Cara kerjanya

API LLM mengukur beberapa hal sekaligus. OpenAI, misalnya, mencantumkan:

  • RPM: permintaan per menit
  • RPD: permintaan per hari
  • TPM: token per menit
  • TPD: token per hari

Batas mana pun yang Anda capai lebih dulu, itulah yang berlaku. Banyak penyedia juga membatasi konkurensi, yaitu jumlah permintaan yang sedang berjalan.

Jika batas terlampaui, server mengembalikan 429 Too Many Requests. MDN menggambarkannya sebagai kondisi ketika client telah “sent too many requests in a given amount of time” (terjemahan: mengirim terlalu banyak permintaan dalam rentang waktu tertentu). Header Retry-After bisa menyebutkan berapa detik harus menunggu.

Loop percobaan ulang yang aman:

import random, time

for attempt in range(5):
    r = send()
    if r.status_code != 429:
        break
    wait = float(r.headers.get("Retry-After", 2 ** attempt))
    time.sleep(wait + random.random())

SDK OpenAI resmi sudah mencoba ulang error 429 dan 5xx dengan backoff; atur max_retries alih-alih menulis loop sendiri.

Kenapa ini penting

  • Throughput. Plafon Anda yang sebenarnya adalah batas terendah dari semua batas. Pada kunci yang dibatasi 30 permintaan per menit, seperti kunci bayar sesuai pemakaian BroadNet, 1.000 permintaan butuh setidaknya 1.000 ÷ 30 menit, secepat apa pun modelnya. Kalkulator rate limit menghitungnya untuk batas Anda sendiri.
  • Keandalan. 429 yang tidak ditangani terlihat seperti gangguan layanan. Backoff mengubahnya menjadi jeda singkat.
  • Biaya. Sebagian penyedia juga mengembalikan 429 untuk batas pengeluaran, hal yang umum pada kunci bayar sesuai pemakaian. Baca body error sebelum mencoba ulang.

Di BroadNet Inference

Jenis kunci Batas
Bayar sesuai pemakaian 30 permintaan per menit, 4 berjalan bersamaan
Kunci per jam 120 permintaan per menit, satu stream, 300,000 token per menit
Paket unlimited Satu permintaan dalam satu waktu per sesi, tanpa meteran token

BroadNet mengembalikan 429 ketika batas laju, konkurensi, laju token, atau pengeluaran tercapai. Tunggu sebentar lalu coba ulang. Panduan error dan percobaan ulang membahas setiap kode status, dan arti “unlimited” yang sebenarnya menjelaskan batas apa yang masih ada pada paket harga tetap.

Kesalahan umum

  • Mencoba ulang error 401 atau 403. Itu masalah kunci atau kebijakan, bukan rate limit.
  • Menjalankan banyak worker pada satu kunci tanpa limiter bersama. Setiap worker melakukan backoff sendiri-sendiri sementara yang lain terus membuat kunci itu jenuh.

Pertanyaan umum

Apakah error 429 perlu dicoba ulang?

Ya, setelah menunggu. Ikuti header Retry-After jika ada; jika tidak, pakai exponential backoff dengan jitter acak, dan batasi jumlah percobaan. Jangan mencoba ulang error batas pengeluaran atau penagihan yang memakai kode status yang sama.

Apakah permintaan yang gagal ikut dihitung dalam batas?

Sering kali, ya. Panduan OpenAI menyebut permintaan yang gagal tetap dihitung dalam batas per menit, jadi mencoba ulang seketika dalam loop justru memperburuk keadaan.

Apa bedanya rate limit dan batas konkurensi?

Rate limit menghitung permintaan atau token dalam rentang waktu. Batas konkurensi menghitung permintaan yang berjalan pada saat yang sama. Sebuah kunci bisa lebih dulu terkena salah satunya.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity