BroadRouter

SLA delle API LLM: cosa promettono Azure, Bedrock, Google e OpenAI

A cura del team di BroadNet Inference · 7 min di lettura · Pubblicato · Aggiornato

Con il pagamento a consumo, la maggior parte delle API LLM non promette alcun uptime. Gli SLA scritti arrivano con contratti cloud o capacità riservata: Azure Foundry Models e Amazon Bedrock danno crediti sotto il 99,9% di uptime mensile, l’inferenza online di Gemini sotto il 99,5%, e lo Scale Tier di OpenAI offre il 99,9% ai clienti Enterprise. Anthropic (termini commerciali) e BroadNet (self-service) non ne hanno. Il rimedio è un credito in fattura.

Cerca “SLA API LLM” e trovi tabelle che si contraddicono a vicenda. Questo articolo lascia perdere le tabelle e legge la fonte: la pagina SLA o dei termini di ciascun provider, consultata il 15 novembre 2026. Per ognuno annotiamo il target di uptime, cosa conta come downtime, il credito di servizio, eventuali target di latenza e quale tier è coperto. BroadRouter è il sito web di BroadNet, quindi BroadNet è nell’elenco, ed è uno dei provider senza SLA in self-service.

Che cosa promette davvero lo SLA di un’API LLM?

Uno SLA è un obiettivo scritto con un rimedio. Non tiene in piedi l’API. Dice cosa succede alla tua fattura quando l’API cade. Ogni SLA qui sotto ha le stesse quattro parti:

  1. Un obiettivo. Di solito una percentuale di uptime mensile per regione, progetto o risorsa.
  2. Una definizione di downtime. Quasi sempre solo errori del server: risposte 500 o 5XX a richieste valide. Un 429 da rate limit non è downtime. Nemmeno una risposta lenta o sbagliata.
  3. Un rimedio. Una percentuale della fattura di quel mese per il servizio colpito, accreditata sulle fatture future e con un tetto.
  4. Una procedura di reclamo. Chiedi tu il credito, con i tuoi log, entro una scadenza.

Le percentuali si traducono in minuti così, per un mese di 30 giorni da 43.200 minuti:

Uptime mensile Downtime consentito
99,9% circa 43 minuti
99,5% 216 minuti
99,0% 432 minuti
95,0% 36 ore

Quali API LLM pubblicano uno SLA?

Tutte le righe sono lette dalla pagina del provider il 15 novembre 2026. “Non trovato” significa che la pagina verificata non indica alcuno SLA; non esclude un contratto privato.

Provider e servizio Target di uptime Cosa conta come downtime Crediti SLA di latenza Chi è coperto
Microsoft Azure, Foundry Models (inclusi i modelli Azure OpenAI) 99,9% Richieste che restituiscono un codice di errore, mediate al minuto 10% sotto il 99,9%, 25% sotto il 99% Sì, per i deployment Provisioned Managed e il Priority Processing Foundry Models venduti da Azure; tier Developer escluso
Amazon Bedrock 99,9% (i crediti partono sotto questa soglia) Richieste che restituiscono un codice di errore 500, per intervallo di 5 minuti, per regione 10%, 25% sotto il 99,0%, 100% sotto il 95,0% Nessuno nello SLA Bedrock in ogni regione AWS
Google, API di inferenza online di Gemini 99,5% (95% per i modelli con disponibilità più breve) Tasso di errori 5XX oltre il 5% per 5 o più minuti consecutivi 10%, 25% sotto il 99,0%, 50% sotto il 95,0% Sì, con Provisioned Throughput sull’endpoint globale generateContent e streamGenerateContent
OpenAI, Scale Tier 99,9% Non definito nella pagina pubblica Non indicati nella pagina pubblica 99% del tempo sopra una soglia minima di token al secondo per modello Clienti Enterprise, unità di token acquistate per almeno 30 giorni
OpenAI, pagamento a consumo standard Non trovato – – – –
API di Anthropic Non trovato; i termini dicono «as is» e «as available» – – – –
Fireworks AI, Reserved Throughput Condizioni di uptime del 99,9% Non indicato nella pagina dei prezzi Non indicati SLA di throughput Solo capacità riservata; l’eccedenza non è coperta
Together AI Serverless: nessuno indicato. «Provisioned Throughput: Token-based capacity with SLAs» (traduzione: capacità basata su token con SLA; condizioni non pubblicate nella pagina) – – – Chiedere al commerciale le condizioni dello SLA
BroadNet Inference, self-service Nessuno: «no availability commitment» (traduzione: nessun impegno di disponibilità) – – – Livelli di servizio solo in un accordo scritto separato

In cosa differiscono gli SLA degli hyperscaler?

Microsoft Azure. La pagina Learn di Microsoft dice che i Foundry Models venduti da Azure «include all Azure OpenAI models» (traduzione: includono tutti i modelli Azure OpenAI) e sono «covered by Azure service-level agreements» (traduzione: coperti dagli SLA di Azure). Lo SLA consolidato (edizione ottobre 2026) definisce l’Error Rate al minuto e la Uptime Percentage come 100% meno il tasso di errore medio. I crediti sono del 10% sotto il 99,9% e del 25% sotto il 99%. Valgono solo per i Foundry Models venduti da Azure, e «The Developer tier of the Foundry Models service is not covered by this SLA.» (traduzione: il tier Developer del servizio Foundry Models non è coperto da questo SLA). Per i deployment Provisioned Managed e il Priority Processing, un secondo SLA misura i token al secondo rispetto a un target per modello indicato nella documentazione di prodotto, con un credito del 10% se il raggiungimento scende sotto il 99%.

Amazon Bedrock. AWS si impegna a «commercially reasonable efforts» (traduzione: sforzi commercialmente ragionevoli) per rispettare la tabella di uptime. La disponibilità è «the percentage of Requests processed by Amazon Bedrock that do not fail with Errors» (traduzione: la percentuale di richieste elaborate da Amazon Bedrock che non falliscono con errori), e un errore è «any Request that returns a 500 error code» (traduzione: qualsiasi richiesta che restituisce un codice di errore 500). Si calcola per regione, e gli intervalli senza richieste contano come pienamente disponibili. Tra le esclusioni ci sono azioni del cliente come lo «scaling of provisioned throughput» (traduzione: ridimensionamento del throughput riservato) e software del modello che causa «repeated model crashes or an inoperable model» (traduzione: crash ripetuti del modello o un modello inutilizzabile). Lo SLA non ha target di latenza.

Google Cloud. Lo SLA dell’inferenza online di Gemini è il più rigoroso su cosa conta. Per avere downtime serve un tasso di errori 5XX superiore al 5% che duri «five or more consecutive minutes» (traduzione: cinque o più minuti consecutivi). I crediti hanno un tetto del 50% della fattura mensile del servizio, devi avvisare il supporto entro 30 giorni con i file di log, e lo SLA è il tuo «sole and exclusive remedy» (traduzione: unico ed esclusivo rimedio). Sono esclusi il grounding con Google Search, gli errori di quota e le scadenze più brevi del default del server. Con Provisioned Throughput, uno SLA di latenza copre alcuni modelli Gemini 2.5 sull’endpoint globale, misurato come p50 dei token al secondo per intervallo di 5 minuti. Se invece fai il deploy di un tuo modello aperto su Vertex AI, lo SLA separato di Vertex AI Platform copre la previsione online di modelli personalizzati al 99,5%, ma solo «for models deployed on 2 or more nodes» (traduzione: per i modelli distribuiti su 2 o più nodi).

E OpenAI e Anthropic direttamente?

OpenAI. La pagina dello Scale Tier dice: «Scale Tier traffic offers a 99.9% uptime SLA and prioritized compute.» (traduzione: il traffico Scale Tier offre uno SLA di uptime del 99,9% e calcolo prioritario). La sua tabella lo abbina a uno SLA di latenza per modello, per esempio «99% > 50 tokens per second» (traduzione: 99% sopra 50 token al secondo), calcolato come latenza p50 delle richieste ogni 5 minuti. La pagina dice che «This offering is available to Enterprise customers» (traduzione: questa offerta è disponibile per i clienti Enterprise), che ogni unità di token si acquista «for a minimum of 30 days» (traduzione: per un minimo di 30 giorni) e che lo Scale Tier copre i modelli usciti prima di GPT-5.6, con il Reserved Tier per quelli successivi. Non abbiamo trovato SLA di uptime associati all’uso standard a consumo. (openai.com ha bloccato il nostro fetcher, quindi abbiamo letto la pagina dalla copia dell’Internet Archive del 7 novembre 2026.)

Anthropic. I Commercial Terms pubblici (in vigore dal 17 giugno 2025) non contengono SLA né crediti di servizio. La sezione L.2 fornisce i servizi «AS IS» e «AS AVAILABLE» (traduzione: così come sono e secondo disponibilità) ed esclude che l’uso «WILL BE UNINTERRUPTED» (traduzione: sarà ininterrotto). Gli accordi enterprise possono essere diversi, ma non sono pubblici.

Cosa non ti compra uno SLA?

  • L’uptime in sé. Il credito arriva dopo il disservizio. I tuoi utenti l’hanno visto comunque.
  • Capacità. Il throttling (429) è fuori da ogni definizione di uptime qui sopra. Google esclude esplicitamente le «quotas applied by the system» (traduzione: quote applicate dal sistema). Vedi come gestire gli errori 429.
  • Velocità. Solo i tier riservati o provisioned hanno un target di token al secondo. Sul traffico standard, una risposta lenta è una risposta riuscita. Le metriche di latenza spiegate.
  • Qualità. Una risposta 200 con una risposta sbagliata non è downtime da nessuna parte.
  • Molti soldi. I crediti sono una quota della fattura mensile di un servizio, spesso con un tetto, e devi reclamarli con i tuoi log.

Come costruire su un’API senza SLA?

La maggior parte dei team costruisce su API a consumo senza SLA. Funziona se l’applicazione mette in conto i guasti:

  1. Imposta timeout. Usa lo streaming per le risposte lunghe e imposta un timeout lato client per ogni richiesta, così una chiamata bloccata fallisce presto. Guida allo streaming.
  2. Fai retry con backoff e jitter su 429 e 5XX, con un limite di tentativi. Errori e retry.
  3. Tieni configurato un secondo provider. Con le API compatibili con OpenAI, un fallback è una seconda base URL, chiave e ID modello. Come fare failover tra API LLM.
  4. Registra ID delle richieste, timestamp e codici di stato. Ti servono per qualsiasi reclamo SLA e per vedere il tuo vero tasso di errore.
  5. Compra un contratto dove ti serve. Se l’uptime è un requisito rigido, usa un tier del provider con uno SLA scritto, o un deployment privato con livelli di servizio concordati. Cosa pianificare prima di un endpoint privato.

Dove si colloca BroadNet Inference

BroadRouter è il sito web di BroadNet. L’API self-service di BroadNet, sia a consumo sia con i piani, non ha SLA. I suoi Termini di servizio (§7.4) dicono: «We aim to keep the API available and publish what we measure, but self-serve has no availability commitment.» (traduzione: puntiamo a mantenere l’API disponibile e pubblichiamo ciò che misuriamo, ma il self-service non ha alcun impegno di disponibilità). E: «Service levels exist only in a separate written agreement.» (traduzione: i livelli di servizio esistono solo in un accordo scritto separato). Su questo punto Azure, AWS e Google offrono di più: un target di uptime scritto con crediti. Una chiave BroadNet a consumo consente 30 richieste al minuto e 4 in parallelo. La descrizione che BroadNet stessa dà della sua infrastruttura di serving è in l’hardware GPU e l’approccio al serving di BroadNet, che riportiamo come racconto di BroadNet, non come impegno.

Se il tuo carico di lavoro può funzionare con retry e un fallback, l’endpoint compatibile con OpenAI di BroadNet è una base URL in più da configurare: https://inference.broadnet.ai/v1. Se ti servono livelli di servizio contrattuali, chiedi a BroadNet un accordo scritto prima di farci affidamento. Leggi il riferimento API o crea un account.

Domande frequenti

Qual è lo SLA di Azure OpenAI?

I modelli Azure OpenAI sono Foundry Models venduti da Azure, che secondo Microsoft sono coperti dagli SLA di Azure. Lo SLA consolidato di ottobre 2026 dà ai Foundry Models un credito di servizio del 10% sotto il 99,9% di uptime mensile e del 25% sotto il 99%. Il tier Developer non è coperto. I deployment Provisioned Managed e il Priority Processing aggiungono uno SLA di latenza in token al secondo, con un credito del 10% sotto il 99% di raggiungimento.

L’API di OpenAI ha uno SLA di uptime?

OpenAI pubblica uno SLA di uptime del 99,9% e uno SLA di latenza per lo Scale Tier, che descrive come «available to Enterprise customers» (traduzione: disponibile per i clienti Enterprise) e vende in unità di token per almeno 30 giorni. Per GPT-5.6 e successivi rimanda al Reserved Tier. Non abbiamo trovato SLA di uptime per l’uso standard a consumo dell’API.

Qual è lo SLA di Amazon Bedrock?

AWS accredita il 10% dei costi Bedrock della regione quando l’uptime mensile scende sotto il 99,9%, il 25% sotto il 99,0% e il 100% sotto il 95,0%. La disponibilità si misura per regione in intervalli di 5 minuti, e un errore è una richiesta che restituisce un codice di errore 500.

Anthropic offre uno SLA per l’API di Claude?

Non nei suoi Commercial Terms pubblici. Quei termini forniscono i servizi «as is» e «as available» (traduzione: così come sono e secondo disponibilità) ed escludono che l’uso sarà ininterrotto. I contratti enterprise negoziati non sono pubblici, quindi chiedi ad Anthropic, oppure usa Claude tramite un cloud il cui SLA lo copra.

Quanto downtime consente un uptime del 99,9%?

Circa 43 minuti in un mese di 30 giorni: lo 0,1% di 43.200 minuti. Il 99,5% consente 216 minuti e il 99% 432 minuti. Come si misura il downtime conta quanto la percentuale.

BroadNet Inference ha uno SLA?

Non in self-service. I Termini di BroadNet dicono «self-serve has no availability commitment» (traduzione: il self-service non ha alcun impegno di disponibilità) e «Service levels exist only in a separate written agreement» (traduzione: i livelli di servizio esistono solo in un accordo scritto separato), per esempio per un endpoint privato.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity