BroadRouter
Mulakan

Had kadar (rate limit)

Dikemas kini

Had kadar ialah had yang ditetapkan oleh API ke atas jumlah penggunaan klien dalam satu tempoh masa, seperti permintaan seminit atau token seminit. Permintaan yang melebihi had ditolak, biasanya dengan HTTP 429 Too Many Requests, sehingga penggunaan turun semula di bawahnya.

Juga dikenali sebagai: had kadar API, had permintaan, ralat 429, rate limit, RPM, TPM, requests per minute, tokens per minute, HTTP 429, throttling

Setiap API yang dikongsi melindungi dirinya dengan had. Mengetahui had mana yang terpakai memberitahu anda sepantas mana anda boleh pergi dan apa yang perlu dilakukan apabila anda mencapainya.

Cara ia berfungsi

API LLM mengukur beberapa perkara serentak. Contohnya, OpenAI menyenaraikan:

  • RPM: permintaan seminit
  • RPD: permintaan sehari
  • TPM: token seminit
  • TPD: token sehari

Had mana yang anda capai dahulu, itulah yang terpakai. Banyak penyedia juga mengehadkan keserentakan, iaitu bilangan permintaan yang sedang berjalan.

Apabila melebihi had, pelayan memulangkan 429 Too Many Requests. MDN menggambarkannya sebagai klien yang telah “sent too many requests in a given amount of time.” (Terjemahan BroadRouter: “menghantar terlalu banyak permintaan dalam tempoh masa tertentu.”) Pengepala Retry-After mungkin menyatakan berapa saat perlu menunggu.

Gelung cuba semula yang selamat:

import random, time

for attempt in range(5):
    r = send()
    if r.status_code != 429:
        break
    wait = float(r.headers.get("Retry-After", 2 ** attempt))
    time.sleep(wait + random.random())

SDK OpenAI rasmi sudah pun mencuba semula ralat 429 dan 5xx dengan backoff; tetapkan max_retries dan bukannya menulis gelung sendiri.

Mengapa ia penting

  • Daya pemprosesan. Siling sebenar anda ialah had yang paling rendah antara semua had. Pada kunci yang dihadkan kepada 30 permintaan seminit, seperti kunci bayar ikut guna BroadNet, 1,000 permintaan mengambil sekurang-kurangnya 1,000 ÷ 30 minit, sepantas mana pun model itu. Kalkulator had kadar membuat pengiraan untuk had anda sendiri.
  • Kebolehpercayaan. Ralat 429 yang tidak dikendalikan kelihatan seperti gangguan perkhidmatan. Backoff menukarnya menjadi kelewatan singkat.
  • Kos. Sesetengah penyedia memulangkan 429 untuk had perbelanjaan juga, perkara biasa pada kunci bayar ikut guna. Baca badan ralat sebelum mencuba semula.

Di BroadNet Inference

Jenis kunci Had
Bayar ikut guna 30 permintaan seminit, 4 serentak
Kunci sejam 120 permintaan seminit, satu strim, 300,000 token seminit
Pelan tanpa had Satu permintaan pada satu masa bagi setiap sesi, tiada meter token

BroadNet memulangkan 429 apabila had kadar, keserentakan, kadar token atau perbelanjaan dicapai. Tunggu dan cuba semula. Panduan ralat dan cuba semula merangkumi setiap kod status, dan apa sebenarnya maksud “tanpa had” menerangkan had yang masih ada pada pelan harga tetap.

Kesilapan biasa

  • Mencuba semula ralat 401 atau 403. Itu masalah kunci atau dasar, bukan had kadar.
  • Menjalankan banyak pekerja pada satu kunci tanpa pengehad yang dikongsi. Setiap pekerja membuat backoff sendirian sementara yang lain terus memenuhkan kunci itu.

Soalan lazim

Patutkah saya mencuba semula 429?

Ya, selepas menunggu. Ikut pengepala Retry-After jika ada; jika tiada, gunakan backoff eksponen dengan jitter rawak, dan hadkan bilangan percubaan. Jangan cuba semula ralat had perbelanjaan atau pengebilan yang berkongsi kod status yang sama.

Adakah permintaan yang gagal dikira dalam had?

Selalunya, ya. Panduan OpenAI menyatakan permintaan yang gagal tetap dikira dalam had seminit, jadi mencuba semula serta-merta dalam gelung hanya memburukkan keadaan.

Apakah perbezaan antara had kadar dan had keserentakan?

Had kadar mengira permintaan atau token dalam satu tempoh masa. Had keserentakan mengira permintaan yang berjalan pada masa yang sama. Satu kunci boleh mencapai mana-mana satu dahulu.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity