BroadRouter

LLM in self-hosting o via API: costo reale e punto di pareggio

A cura del team di BroadNet Inference · 5 min di lettura · Pubblicato · Aggiornato

Una GPU a noleggio costa uguale ogni ora, che lavori o resti ferma, quindi il self-hosting batte un’API solo con un utilizzo alto e costante. Dividi il prezzo orario per i token che il server produce davvero in un’ora, aggiungi il tempo di sviluppo e di reperibilità e confronta con il prezzo dell’API per 1M di token. Con traffico irregolare o modesto, l’API vince quasi sempre.

«Risparmieremmo facendolo girare noi» è una delle affermazioni più comuni nella pianificazione dei costi degli LLM, e una delle meno verificate. I conti non sono difficili. C’è una variabile che si sbaglia a occhio (l’utilizzo) e un costo che si dimentica (le persone). Questo articolo dà la formula, prezzi di noleggio reali e un modo per rifare il calcolo con i tuoi numeri.

Quanto costa oggi noleggiare una GPU?

Prezzi orari dalle pagine prezzi ufficiali, consultate il 2026-11-14 (RunPod) e il 2026-11-16 (Lambda). Qui un mese vale 730 ore.

GPU Provider e livello (verifica del 2026-11-14) Per GPU all’ora Al mese, sempre accesa
H100 SXM RunPod Secure Cloud 4,39 USD circa 3.205 USD
H100 SXM RunPod Community Cloud 2,69 USD circa 1.964 USD
H100 PCIe RunPod Secure Cloud 2,89 USD circa 2.110 USD
H200 RunPod Secure Cloud 5,29 USD circa 3.862 USD
A100 80GB SXM RunPod Secure Cloud 2,19 USD circa 1.599 USD
L40S RunPod Secure Cloud 1,09 USD circa 796 USD
H100 SXM Lambda on-demand, da 1 a 8 GPU (in vigore dal 2026-11-16; verifica del 2026-11-16) da 4,59 a 4,89 USD circa da 3.351 a 3.570 USD

La pagina di Lambda (verifica del 2026-11-16) dice che questi prezzi entrano in vigore il 2026-11-16 alle 00:00 UTC; la tariffa per GPU scende man mano che il nodo cresce, fino a 4,59 USD su un nodo da 8 GPU. Le tariffe Community Cloud di RunPod sono prezzi «a partire da» che variano secondo l’host. Secure e Community Cloud sono livelli di hosting diversi, quindi leggi le condizioni del livello se hai regole sul trattamento dei dati. Molti modelli richiedono più di una GPU: un nodo da 8 H100 alla tariffa Secure Cloud costa circa 25.638 USD al mese.

Come si calcola il costo self-hosted per milione di token?

Una GPU produce token a un certo ritmo aggregato su tutte le richieste che elabora in batch. Il tuo costo per token è il prezzo orario distribuito sui token che produce davvero:

costo per 1M di token = prezzo orario ÷ (token al secondo aggregati × 3.600 ÷ 1.000.000) ÷ utilizzo

L’utilizzo è la quota di ore in cui la GPU fa lavoro utile a quel ritmo. Un esempio con numeri ipotetici (non è un benchmark: misura il tuo modello):

  • GPU: una H100 SXM su Community Cloud, 2,69 USD all’ora.
  • Output aggregato ipotizzato: 1.500 token al secondo con un buon batching.
  • Token all’ora a pieno carico: 1.500 × 3.600 = 5,4 milioni.
Utilizzo Token effettivi all’ora Costo per 1M di token di output
100% (sempre satura) 5,4M 0,50 USD
50% 2,7M 1,00 USD
25% (occupata solo in orario d’ufficio) 1,35M 1,99 USD
10% (traffico di prodotto irregolare) 0,54M 4,98 USD

Ora confronta con il prezzo di un’API per 1M di token di output. La tabella dei prezzi delle API LLM mostra quanto fanno pagare decine di host per gli stessi pesi open; su BroadNet Inference, DeepSeek V4.1 Flash costa $0.52 per 1M di token di output e Gemma 4 VL 26B costa $0.22. Trova la riga in cui il tuo costo self-hosted scende sotto il prezzo dell’API: quello è il tuo utilizzo di pareggio. L’esempio ignora i token di input, che occupano anch’essi tempo di GPU (prefill), quindi i costi self-hosted reali sono più alti di quelli in tabella.

Quanti token al mese servono per andare in pari?

Rovescia il ragionamento. Una GPU lasciata accesa costa comunque il suo prezzo mensile. L’API costa token × prezzo. Il volume di pareggio è:

token mensili per andare in pari = costo mensile della GPU ÷ prezzo API per 1M di token × 1.000.000

Per una H100 su Community Cloud (circa 1.964 USD al mese) contro un prezzo di output di $0.52 per 1M, dividi 1.964 per quel prezzo e ottieni i milioni di token di output al mese che devi sostituire prima che la GPU si ripaghi. Fai lo stesso con il tuo prezzo medio ponderato di input e output se il tuo carico è sbilanciato sull’input, come di solito succede con gli agenti; l’articolo su tariffa flat e pagamento per token mostra come combinarli.

E quella GPU deve effettivamente servire il modello. Se il modello richiede quattro GPU, moltiplica per quattro il costo mensile prima di dividere.

Quali costi si dimenticano?

Costo Cosa copre Come contarlo
Setup di sviluppo Motore di serving, scelta della quantizzazione, autoscaling, test di carico Ore una tantum × la tua tariffa
Operatività continua Aggiornamenti, driver e motore, refresh dei modelli Ore al mese × la tua tariffa
Reperibilità Qualcuno si sveglia quando il nodo muore La tua policy di reperibilità
Ridondanza Un secondo nodo, così un guasto non diventa un disservizio Raddoppia la voce GPU
Margine inattivo Capacità da tenere calda per i picchi Abbassa l’utilizzo
Valutazione Verificare una nuova versione del modello prima di passarci Ore per release

La ridondanza è la voce che cambia di più il risultato. Una sola GPU è un single point of failure. Con due GPU l’utilizzo si dimezza da un giorno all’altro. Vedi valutare un modello prima di cambiarlo per il lavoro di valutazione che ogni aggiornamento comporta.

Quando il self-hosting è la scelta giusta?

  • Volume alto e costante. Pipeline batch che tengono le GPU sature giorno e notte.
  • I dati devono restare nella tua rete. È un requisito vincolante, non un argomento di costo. Verifica prima se un’API con zero data retention rispetta le tue regole.
  • Un modello che nessuna API serve. Il tuo fine-tune o un modello open-weight di nicchia.
  • Capacità garantita. Ti serve un throughput che i rate limit di un’API non ti daranno.

In tutti gli altri casi, soprattutto con traffico irregolare, prodotti agli inizi e agenti che lavorano a raffiche, un’API costa meno e non richiede turni di reperibilità.

Esistono opzioni a prezzo fisso tra una GPU e la fatturazione per token?

Tra noleggiare una GPU e pagare per token c’è una via di mezzo. BroadNet vende una chiave oraria per Gemma 4 VL 26B a $0.50 all’ora (uno stream, 120 richieste al minuto, 300,000 token al minuto), cioè $360.00 se la tenessi attiva tutto il mese. Vende anche sessioni di piani illimitati per DeepSeek V4.1 Flash a $60 al mese, ognuna con una richiesta alla volta a circa 100 token al secondo. Danno una spesa prevedibile come una GPU a noleggio, senza setup né operatività, ma con una concorrenza fissa per chiave o per sessione invece della capacità di batch di un’intera GPU.

Dove si colloca BroadNet Inference

BroadNet Inference è il lato API di questo confronto: prezzi per token, piani flat e chiavi orarie per modelli open-weight, alcuni ospitati da partner di inferenza statunitensi, dietro un’API compatibile con OpenAI. È adatto ai team il cui traffico lascerebbe una GPU a noleggio ferma per buona parte della giornata, o che non vogliono gestire un’infrastruttura di inferenza. Non è adatto se ti serve il serving di un fine-tune personalizzato, un deployment on-premise o centinaia di richieste in parallelo su una sola chiave. Fai i tuoi conti con il calcolatore dei costi delle API LLM e confrontali con la tabella qui sopra. Se stai ancora scegliendo tra modelli aperti e chiusi, costo delle API di modelli open-weight e chiusi confronta i prezzi per token presi dalla pagina di ciascun provider. Il calcolatore self-hosting o API fa l’intero calcolo del pareggio con il throughput che hai misurato e questi prezzi delle GPU.

Domande frequenti

Conviene ospitare un LLM in proprio invece di usare un’API?

Solo con volumi alti e costanti. Una GPU a noleggio si paga ogni ora; un’API fa pagare solo i token che usi. Se la tua GPU resterebbe ferma per gran parte della giornata, l’API costa meno anche prima di contare il tempo di sviluppo.

Quanto costa noleggiare una H100 all’ora?

Nella pagina prezzi di RunPod, il 2026-11-14, una H100 SXM costava 4,39 USD all’ora su Secure Cloud e da 2,69 USD su Community Cloud. Lambda indica la H100 SXM on-demand a 4,59-4,89 USD per GPU all’ora, a seconda della dimensione del nodo, con prezzi in vigore dal 2026-11-16. Controlla le pagine per le tariffe attuali.

Quante GPU servono per ospitare in proprio un modello grande?

Almeno quante bastano a contenere in memoria i pesi più la KV cache per le tue richieste simultanee. I grandi modelli mixture of experts di solito richiedono un nodo multi-GPU. Controlla nella model card il numero di parametri e la configurazione consigliata.

Quando ha senso il self-hosting anche se costa di più?

Quando i dati non possono uscire dalla tua rete, quando ti serve un modello con fine-tuning o personalizzato che nessuna API serve, o quando ti serve capacità garantita. Sono ragioni di controllo, non di costo.

Come misuro il throughput reale della mia GPU?

Esegui i tuoi prompt reali con la tua concorrenza reale su un motore di serving come vLLM o SGLang, e registra i token di output totali al secondo su tutte le richieste. I valori di picco dei vendor presuppongono un batching ideale.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity