BroadRouter

Rate limit delle API LLM per provider: RPM, TPM e concorrenza

A cura del team di BroadNet Inference · 8 min di lettura · Pubblicato · Aggiornato

I rate limit delle API LLM cambiano per tipo, non solo per entità. OpenAI, Anthropic e Gemini limitano richieste e token al minuto in base al livello di utilizzo. DeepSeek e DeepInfra limitano le richieste simultanee. I free tier di Groq e Cerebras aggiungono tetti giornalieri. Sui primi livelli a pagamento OpenAI e Anthropic consentono migliaia di richieste al minuto; le chiavi BroadNet a consumo 30.

Cerca «rate limit API LLM» e troverai tabelle di blog che si contraddicono, spesso perché copiano numeri vecchi. Questa pagina legge ogni valore dalla documentazione del provider stesso, al 15 novembre 2026, indica a quale livello e a quale modello si riferisce, e lascia la cella vuota quando il provider non pubblica il dato. Per gli stessi dati in un dataset scaricabile, con crediti gratuiti e condizioni d’uso dei dati, vedi free tier e rate limit delle API LLM. BroadRouter è il sito di BroadNet, e anche i limiti di BroadNet sono in tabella.

Cosa significano RPM, TPM, RPD e concorrenza?

Un rate limit fissa quanto puoi inviare in una finestra di tempo. I provider contano cose diverse:

Limite Cosa conta Fa più male quando
RPM, richieste al minuto Richieste avviate in un minuto Invii molte chiamate brevi (classificazione, loop in stile embeddings)
RPS, richieste al secondo Lo stesso, su un secondo Invii a raffica, anche se la media al minuto è bassa
TPM, token al minuto Token elaborati in un minuto, a volte input (ITPM) e output (OTPM) separati Invii prompt lunghi o documenti lunghi
RPD / TPD, al giorno Richieste o token in un giorno Esegui un job batch su un free tier
Concorrenza Richieste in corso nello stesso momento Le richieste sono lente: ragionamento, output lunghi, agenti

Quale limite ti blocca dipende dalla forma delle tue richieste. Con i limiti di concorrenza, il throughput dipende dalla durata della richiesta: la documentazione di DeepInfra fa l’esempio di 200 richieste simultanee con una media di 1 secondo, che danno circa 12.000 RPM. Una richiesta di ragionamento da 30 secondi con la stessa concorrenza ne dà una frazione.

La maggior parte dei provider applica i limiti anche su finestre più brevi di quelle che pubblica. Anthropic dice che un limite di 60 RPM «might be enforced as 1 request per second» (traduzione: potrebbe essere applicato come 1 richiesta al secondo), e xAI ricava il limite al secondo dal budget al minuto («RPM / 48, with a minimum of 2»; traduzione: RPM / 48, con un minimo di 2).

Come funzionano i livelli di utilizzo?

I grandi provider di modelli chiusi alzano i limiti man mano che spendi di più:

Provider Livelli (verifica del 2026-11-15) Come si sale
OpenAI Free, Build, Launch, Grow Free: l’utente deve trovarsi in un’area geografica ammessa; limite di utilizzo mensile di 100 USD (un tetto di spesa, non un credito). Poi acquisti di credito totali di 5 USD, 100 USD e 500 USD, con limiti di utilizzo mensili di 500 USD, 5.000 USD e 200.000 USD
Anthropic Evaluation, Start, Build, Scale, Custom Automatico, in base allo storico di utilizzo e allo stato dell’account. Tetti di spesa mensili: Start 500 USD, Build 1.000 USD, Scale 200.000 USD
API Google Gemini Free, Tier 1, Tier 2, Tier 3 Tier 1 richiede un account di fatturazione collegato; Tier 2 richiede 100 USD pagati più 3 giorni; Tier 3 1.000 USD più 30 giorni. Google dice che i rate limit indicati sono «not guaranteed» (traduzione: non garantiti) e sulle richieste di aumento offre «no guarantees» (traduzione: nessuna garanzia)
Fireworks AI Da Tier 1 a Tier 4 Metodo di pagamento per il Tier 1, poi 50 USD, 500 USD e 5.000 USD di spesa o crediti. I livelli alzano il TPM, non l’RPM
xAI Da Tier 0 a Tier 4, Enterprise Spesa cumulativa dal 1° gennaio 2026: 0, 50, 250, 1.000 e 5.000 USD

Nella pratica contano due dettagli. Quando raggiungi il tetto di spesa di Anthropic ricevi un HTTP 429 senza header retry-after, quindi i retry automatici continuano a fallire finché il mese non si azzera o non cambi livello. E il limite di input di Anthropic conta solo l’input non in cache: le letture dalla cache non contano, quindi un alto tasso di cache aumenta il tuo throughput reale.

Rate limit delle API LLM per provider: il livello di ingresso

Valori per il livello gratuito o il primo livello a pagamento di ciascun provider, presi dalla sua pagina sui rate limit. Un trattino significa che la pagina non pubblica un numero per quel limite; non significa illimitato.

Provider Livello e modello RPM TPM Al giorno Concorrenza
OpenAI Build; Astra, Sol, Terra 5.000 1.000.000 – –
OpenAI Build; Luna 5.000 2.000.000 – –
Anthropic Start; Sonnet 5.5, Opus 5.5, Haiku 5.5 4.000 2.000.000 di input (non in cache), 400.000 di output – –
API Google Gemini Free; Gemini Decision 1 (unico modello con valori gratuiti nella pagina) 200 50.000 10.000 richieste –
API Google Gemini Tier 1; Gemini Decision 1 1.500 1.000.000 50.000 richieste –
Groq Tabella del piano Free; openai/gpt-oss-120b, qwen/qwen3.8-27b 30 8.000 1.000 richieste, 200.000 token –
Groq Tabella del piano Developer; openai/gpt-oss-120b, qwen/qwen3.8-27b 1.000 250.000 500.000 richieste –
Cerebras Free Trial; gpt-oss-120b 5 30.000 non in cache (90.000 totali) 1.000.000 di token –
Cerebras Developer (a consumo); gpt-oss-120b 1.000 500.000 non in cache (1.500.000 totali) Nessun tetto –
Fireworks AI Senza metodo di pagamento né crediti; per tutto l’account 10 – – –
Fireworks AI Con metodo di pagamento e crediti; per tutto l’account 6.000 Dipende dal livello di spesa – –
DeepInfra Predefinito; per modello pubblico – – – 200
DeepSeek Predefinito; deepseek-flash (DeepSeek-V4.1-Flash-1017), per account – – – 2.500
DeepSeek Predefinito; deepseek-v4-pro (DeepSeek-V4-Pro-0813), per account – – – 500
xAI Tier 0; grok-4.7 (150 RPS) – 50.000.000 – –
OpenRouter Modelli :free, meno di 10 USD di crediti acquistati 20 – 50 richieste –
OpenRouter Modelli :free, 10 USD o più di crediti acquistati 20 – 1.000 richieste –
Cohere Chiave di prova; Command A 20 – 1.000 chiamate al mese –
Cohere Chiave di produzione; Command A 500 – – –
BroadNet Inference Chiave a consumo; qualsiasi modello 30 – – 4
BroadNet Inference Chiave oraria; Gemma 4 VL 26B 120 300,000 – 1 stream
BroadNet Inference Sessione di un piano flat; DeepSeek V4.1 Flash – Nessun contatore di token – 1 richiesta alla volta

Note sulle righe:

  • Groq. La pagina ha due schede, «Free Plan Limits» (aperta per impostazione predefinita) e «Developer Plan Limits». La frase sopra le schede chiama quei valori «the base limits for the Developer plan» (traduzione: i limiti di base del piano Developer), il che vale solo per la seconda scheda; la tabella qui sopra le riporta entrambe. I limiti esatti della tua organizzazione sono nella sua pagina dei limiti.
  • Google. I limiti valgono per progetto, non per chiave API. Per la maggior parte dei modelli i numeri compaiono solo dentro AI Studio. Gemini Decision 1 è un modello di classificazione per la Decisions API di Google: restituisce probabilità, non testo, quindi i suoi limiti dicono poco sui modelli di chat Gemini.
  • Mistral e Together AI non pubblicano numeri. Mistral mostra i tuoi limiti nella sua console invece di pubblicare una tabella, e non offre accesso gratuito all’API («It doesn’t include API access»; traduzione: non include l’accesso all’API). Together dice che «may limit requests» (traduzione: può limitare le richieste) quando la domanda è alta e che può fissare limiti personalizzati sui modelli più richiesti.
  • OpenRouter. Le varianti a pagamento dei modelli hanno «no platform-level request cap» (traduzione: nessun tetto alle richieste a livello di piattaforma), ma i provider dietro ciascun modello hanno comunque i propri limiti.
  • DeepSeek. Quando è sotto carico, DeepSeek tiene aperta la connessione con righe vuote o commenti : keep-alive, e la chiude se l’inferenza non è partita entro 10 minuti. Imposta il timeout del client tenendone conto.

Come si confrontano, onestamente, i limiti di BroadNet?

Sono bassi per i carichi ad alto volume. Una chiave BroadNet a consumo consente 30 richieste al minuto e 4 in corso, mentre i primi livelli a pagamento di OpenAI e Anthropic consentono migliaia di richieste al minuto e Fireworks ne consente 6.000 una volta registrata una carta. Se devi far passare migliaia di richieste brevi al minuto da una sola chiave, il livello a pagamento di un grande provider fa più al caso tuo.

I limiti si adattano ad altri profili:

  • Agenti e chat. Un agente invia una richiesta alla volta e aspetta. 4 richieste in corso coprono qualche agente per chiave; una chiave per app o per collega distribuisce il carico.
  • Piani flat. Una sessione Full Moon, Orbit o Meteor non ha contatore di token né tetti giornalieri o settimanali, ma esegue una richiesta alla volta a una velocità tipica di circa 100 token al secondo. Per eseguire agenti in parallelo, compra una sessione per ciascuno. Quante sessioni ti servono.
  • Chiave oraria. Con $0.50 all’ora ottieni uno stream di Gemma 4 VL 26B a 120 richieste e 300,000 token al minuto.

Tutti i limiti di BroadNet restituiscono HTTP 429. Il riferimento API non indica tempi di retry-after, quindi usa un backoff limitato con jitter.

Come si pianifica intorno a un rate limit?

  1. Trova il limite che ti vincola. Calcola richieste al minuto, token al minuto e richieste in corso nel tuo picco di traffico. Il calcolatore dei rate limit LLM lo fa partendo da dimensione delle richieste e latenza.
  2. Rallenta lato client. Un token bucket allineato al limite pubblicato evita la maggior parte dei 429. Anthropic usa lo stesso algoritmo lato server.
  3. Leggi gli header. Anthropic restituisce header anthropic-ratelimit-*; Groq restituisce header x-ratelimit-*, dove quello delle richieste «always refers to Requests Per Day» (traduzione: si riferisce sempre alle richieste al giorno). Usa retry-after quando è presente.
  4. Ritenta con backoff e jitter, e limita i retry. Gestire gli errori 429 contiene codice funzionante, e errori e retry copre i codici di stato di BroadNet.
  5. Metti in cache i prefissi stabili. Su Anthropic l’input in cache non conta per il limite di input. Ovunque, riduce i costi.
  6. Distribuisci i job massivi. Anthropic applica anche limiti di rampa: un salto improvviso di traffico può restituire 429 sotto il tuo limite. Avvia i job batch con gradualità. Senza una Batch API, un runner batch riprendibile mantiene il job entro i limiti.
  7. Chiedi di più. DeepSeek, DeepInfra, Mistral e Anthropic descrivono tutti una procedura per chiedere limiti più alti.

Dove si colloca BroadNet Inference

BroadRouter è il sito di BroadNet, quindi valuta questa sezione tenendone conto. BroadNet Inference non è la scelta per frequenze di richieste molto alte su una sola chiave: i limiti per chiave che pubblica sono ben al di sotto dei livelli a pagamento di OpenAI, Anthropic, Fireworks o Cerebras. Si adatta a carichi di agenti e chat che inviano poche richieste alla volta, soprattutto con un piano flat, dove un agente molto attivo non ha contatore di token né tetto giornaliero. I nuovi account ricevono un credito iniziale di $5 per Gemma 4 VL 26B, i due modelli di trascrizione e le chiavi orarie Gemma; DeepSeek, GLM e Qwen richiedono una ricarica. Il self-service non ha SLA. Leggi i limiti dell’API o confronta i piani.

Domande frequenti

Quali sono i rate limit dell’API di OpenAI sul primo livello a pagamento?

La guida ai rate limit di OpenAI (consultata il 15 novembre 2026) colloca il livello Build a 5 USD di acquisti di credito totali, con un limite di utilizzo mensile di 500 USD. Build consente 5.000 RPM e 1.000.000 TPM su Astra, Sol e Terra, e 5.000 RPM e 2.000.000 TPM su Luna. I limiti valgono per organizzazione e per progetto.

Quali sono i rate limit dell’API di Anthropic?

Sul livello Start, Claude Sonnet 5.5, Opus 5.5 e Haiku 5.5 consentono ciascuno 4.000 RPM, 2.000.000 token di input al minuto e 400.000 token di output al minuto (verifica del 15 novembre 2026). Al limite di input conta solo l’input non in cache. Le nuove organizzazioni possono partire da un livello Evaluation più basso.

Quali sono i rate limit gratuiti di Groq?

La tabella pubblicata da Groq (consultata il 15 novembre 2026) indica 30 richieste al minuto, 1.000 richieste al giorno, 8.000 token al minuto e 200.000 token al giorno per openai/gpt-oss-120b e qwen/qwen3.8-27b. Groq precisa che i limiti esatti della tua organizzazione sono nella sua pagina dei limiti. La tabella del piano Developer indica 1.000 richieste al minuto, 500.000 richieste al giorno e 250.000 token al minuto per gli stessi modelli.

L’API di DeepSeek ha dei rate limit?

Sì, sotto forma di concorrenza. DeepSeek consente 2.500 richieste simultanee per account su deepseek-flash e 500 su deepseek-v4-pro, e oltre questa soglia restituisce HTTP 429. Limiti più alti sono disponibili su richiesta senza costi aggiuntivi (verifica del 15 novembre 2026).

Che differenza c’è tra RPM, TPM e concorrenza?

L’RPM conta le richieste avviate in un minuto. Il TPM conta i token elaborati in un minuto, a volte separando input e output. La concorrenza conta le richieste in corso nello stesso momento, quindi le richieste lunghe la esauriscono anche con un RPM basso.

Quali sono i rate limit di BroadNet Inference?

Una chiave a consumo consente 30 richieste al minuto e 4 in corso. Una chiave oraria consente 120 richieste al minuto, 300,000 token al minuto e 1 stream su Gemma 4 VL 26B. Una sessione di un piano flat esegue una richiesta alla volta. Tutte restituiscono HTTP 429 quando superi il limite.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity