Ogni API condivisa si protegge con dei limiti. Sapere quali valgono ti dice quanto veloce puoi andare e cosa fare quando ne raggiungi uno.
Come funziona
Le API LLM misurano più cose contemporaneamente. OpenAI, per esempio, elenca:
- RPM: richieste al minuto
- RPD: richieste al giorno
- TPM: token al minuto
- TPD: token al giorno
Si applica il primo limite che raggiungi. Molti provider limitano anche la concorrenza, cioè il numero di richieste in corso.
Oltre il limite, il server restituisce 429 Too Many Requests. MDN lo descrive come il caso in cui il client ha “sent too many requests in a given amount of time” (traduzione: inviato troppe richieste in un dato intervallo di tempo). Un header Retry-After può indicare quanti secondi aspettare.
Un ciclo di retry sicuro:
import random, time
for attempt in range(5):
r = send()
if r.status_code != 429:
break
wait = float(r.headers.get("Retry-After", 2 ** attempt))
time.sleep(wait + random.random())
Gli SDK ufficiali di OpenAI ritentano già gli errori 429 e 5xx con backoff; imposta max_retries invece di scrivere un ciclo tuo.
Perché è importante
- Throughput. Il tuo vero tetto è il più basso tra tutti i limiti. Con una chiave limitata a 30 richieste al minuto, come le chiavi a consumo di BroadNet, 1.000 richieste richiedono almeno 1.000 ÷ 30 minuti, per quanto veloce sia il modello. Il calcolatore dei rate limit fa i conti con i tuoi limiti.
- Affidabilità. I 429 non gestiti sembrano disservizi. Il backoff li trasforma in brevi ritardi.
- Costo. Alcuni provider restituiscono 429 anche per i tetti di spesa, comuni sulle chiavi a consumo. Leggi il corpo dell’errore prima di ritentare.
Su BroadNet Inference
| Tipo di chiave | Limiti |
|---|---|
| A consumo | 30 richieste al minuto, 4 contemporanee |
| Chiave oraria | 120 richieste al minuto, uno stream, 300,000 token al minuto |
| Piano illimitato | Una richiesta alla volta per sessione, nessun contatore di token |
BroadNet restituisce 429 quando si raggiunge un limite di frequenza, di concorrenza, di token al minuto o di spesa. Attendi con backoff e ritenta. La guida a errori e retry copre ogni codice di stato, e cosa significa davvero “illimitato” spiega quali limiti ha ancora un piano flat.
Errori comuni
- Ritentare errori 401 o 403. Sono problemi di chiave o di policy, non rate limit.
- Far girare molti worker su una chiave senza un limitatore condiviso. Ogni worker fa backoff da solo mentre gli altri tengono la chiave satura.