Setiap API yang dikongsi melindungi dirinya dengan had. Mengetahui had mana yang terpakai memberitahu anda sepantas mana anda boleh pergi dan apa yang perlu dilakukan apabila anda mencapainya.
Cara ia berfungsi
API LLM mengukur beberapa perkara serentak. Contohnya, OpenAI menyenaraikan:
- RPM: permintaan seminit
- RPD: permintaan sehari
- TPM: token seminit
- TPD: token sehari
Had mana yang anda capai dahulu, itulah yang terpakai. Banyak penyedia juga mengehadkan keserentakan, iaitu bilangan permintaan yang sedang berjalan.
Apabila melebihi had, pelayan memulangkan 429 Too Many Requests. MDN menggambarkannya sebagai klien yang telah “sent too many requests in a given amount of time.” (Terjemahan BroadRouter: “menghantar terlalu banyak permintaan dalam tempoh masa tertentu.”) Pengepala Retry-After mungkin menyatakan berapa saat perlu menunggu.
Gelung cuba semula yang selamat:
import random, time
for attempt in range(5):
r = send()
if r.status_code != 429:
break
wait = float(r.headers.get("Retry-After", 2 ** attempt))
time.sleep(wait + random.random())
SDK OpenAI rasmi sudah pun mencuba semula ralat 429 dan 5xx dengan backoff; tetapkan max_retries dan bukannya menulis gelung sendiri.
Mengapa ia penting
- Daya pemprosesan. Siling sebenar anda ialah had yang paling rendah antara semua had. Pada kunci yang dihadkan kepada 30 permintaan seminit, seperti kunci bayar ikut guna BroadNet, 1,000 permintaan mengambil sekurang-kurangnya 1,000 ÷ 30 minit, sepantas mana pun model itu. Kalkulator had kadar membuat pengiraan untuk had anda sendiri.
- Kebolehpercayaan. Ralat 429 yang tidak dikendalikan kelihatan seperti gangguan perkhidmatan. Backoff menukarnya menjadi kelewatan singkat.
- Kos. Sesetengah penyedia memulangkan 429 untuk had perbelanjaan juga, perkara biasa pada kunci bayar ikut guna. Baca badan ralat sebelum mencuba semula.
Di BroadNet Inference
| Jenis kunci | Had |
|---|---|
| Bayar ikut guna | 30 permintaan seminit, 4 serentak |
| Kunci sejam | 120 permintaan seminit, satu strim, 300,000 token seminit |
| Pelan tanpa had | Satu permintaan pada satu masa bagi setiap sesi, tiada meter token |
BroadNet memulangkan 429 apabila had kadar, keserentakan, kadar token atau perbelanjaan dicapai. Tunggu dan cuba semula. Panduan ralat dan cuba semula merangkumi setiap kod status, dan apa sebenarnya maksud “tanpa had” menerangkan had yang masih ada pada pelan harga tetap.
Kesilapan biasa
- Mencuba semula ralat 401 atau 403. Itu masalah kunci atau dasar, bukan had kadar.
- Menjalankan banyak pekerja pada satu kunci tanpa pengehad yang dikongsi. Setiap pekerja membuat backoff sendirian sementara yang lain terus memenuhkan kunci itu.