«Risparmieremmo facendolo girare noi» è una delle affermazioni più comuni nella pianificazione dei costi degli LLM, e una delle meno verificate. I conti non sono difficili. C’è una variabile che si sbaglia a occhio (l’utilizzo) e un costo che si dimentica (le persone). Questo articolo dà la formula, prezzi di noleggio reali e un modo per rifare il calcolo con i tuoi numeri.
Quanto costa oggi noleggiare una GPU?
Prezzi orari dalle pagine prezzi ufficiali, consultate il 2026-11-14 (RunPod) e il 2026-11-16 (Lambda). Qui un mese vale 730 ore.
| GPU | Provider e livello (verifica del 2026-11-14) | Per GPU all’ora | Al mese, sempre accesa |
|---|---|---|---|
| H100 SXM | RunPod Secure Cloud | 4,39 USD | circa 3.205 USD |
| H100 SXM | RunPod Community Cloud | 2,69 USD | circa 1.964 USD |
| H100 PCIe | RunPod Secure Cloud | 2,89 USD | circa 2.110 USD |
| H200 | RunPod Secure Cloud | 5,29 USD | circa 3.862 USD |
| A100 80GB SXM | RunPod Secure Cloud | 2,19 USD | circa 1.599 USD |
| L40S | RunPod Secure Cloud | 1,09 USD | circa 796 USD |
| H100 SXM | Lambda on-demand, da 1 a 8 GPU (in vigore dal 2026-11-16; verifica del 2026-11-16) | da 4,59 a 4,89 USD | circa da 3.351 a 3.570 USD |
La pagina di Lambda (verifica del 2026-11-16) dice che questi prezzi entrano in vigore il 2026-11-16 alle 00:00 UTC; la tariffa per GPU scende man mano che il nodo cresce, fino a 4,59 USD su un nodo da 8 GPU. Le tariffe Community Cloud di RunPod sono prezzi «a partire da» che variano secondo l’host. Secure e Community Cloud sono livelli di hosting diversi, quindi leggi le condizioni del livello se hai regole sul trattamento dei dati. Molti modelli richiedono più di una GPU: un nodo da 8 H100 alla tariffa Secure Cloud costa circa 25.638 USD al mese.
Come si calcola il costo self-hosted per milione di token?
Una GPU produce token a un certo ritmo aggregato su tutte le richieste che elabora in batch. Il tuo costo per token è il prezzo orario distribuito sui token che produce davvero:
costo per 1M di token = prezzo orario ÷ (token al secondo aggregati × 3.600 ÷ 1.000.000) ÷ utilizzo
L’utilizzo è la quota di ore in cui la GPU fa lavoro utile a quel ritmo. Un esempio con numeri ipotetici (non è un benchmark: misura il tuo modello):
- GPU: una H100 SXM su Community Cloud, 2,69 USD all’ora.
- Output aggregato ipotizzato: 1.500 token al secondo con un buon batching.
- Token all’ora a pieno carico: 1.500 × 3.600 = 5,4 milioni.
| Utilizzo | Token effettivi all’ora | Costo per 1M di token di output |
|---|---|---|
| 100% (sempre satura) | 5,4M | 0,50 USD |
| 50% | 2,7M | 1,00 USD |
| 25% (occupata solo in orario d’ufficio) | 1,35M | 1,99 USD |
| 10% (traffico di prodotto irregolare) | 0,54M | 4,98 USD |
Ora confronta con il prezzo di un’API per 1M di token di output. La tabella dei prezzi delle API LLM mostra quanto fanno pagare decine di host per gli stessi pesi open; su BroadNet Inference, DeepSeek V4.1 Flash costa $0.52 per 1M di token di output e Gemma 4 VL 26B costa $0.22. Trova la riga in cui il tuo costo self-hosted scende sotto il prezzo dell’API: quello è il tuo utilizzo di pareggio. L’esempio ignora i token di input, che occupano anch’essi tempo di GPU (prefill), quindi i costi self-hosted reali sono più alti di quelli in tabella.
Quanti token al mese servono per andare in pari?
Rovescia il ragionamento. Una GPU lasciata accesa costa comunque il suo prezzo mensile. L’API costa token × prezzo. Il volume di pareggio è:
token mensili per andare in pari = costo mensile della GPU ÷ prezzo API per 1M di token × 1.000.000
Per una H100 su Community Cloud (circa 1.964 USD al mese) contro un prezzo di output di $0.52 per 1M, dividi 1.964 per quel prezzo e ottieni i milioni di token di output al mese che devi sostituire prima che la GPU si ripaghi. Fai lo stesso con il tuo prezzo medio ponderato di input e output se il tuo carico è sbilanciato sull’input, come di solito succede con gli agenti; l’articolo su tariffa flat e pagamento per token mostra come combinarli.
E quella GPU deve effettivamente servire il modello. Se il modello richiede quattro GPU, moltiplica per quattro il costo mensile prima di dividere.
Quali costi si dimenticano?
| Costo | Cosa copre | Come contarlo |
|---|---|---|
| Setup di sviluppo | Motore di serving, scelta della quantizzazione, autoscaling, test di carico | Ore una tantum × la tua tariffa |
| Operatività continua | Aggiornamenti, driver e motore, refresh dei modelli | Ore al mese × la tua tariffa |
| Reperibilità | Qualcuno si sveglia quando il nodo muore | La tua policy di reperibilità |
| Ridondanza | Un secondo nodo, così un guasto non diventa un disservizio | Raddoppia la voce GPU |
| Margine inattivo | Capacità da tenere calda per i picchi | Abbassa l’utilizzo |
| Valutazione | Verificare una nuova versione del modello prima di passarci | Ore per release |
La ridondanza è la voce che cambia di più il risultato. Una sola GPU è un single point of failure. Con due GPU l’utilizzo si dimezza da un giorno all’altro. Vedi valutare un modello prima di cambiarlo per il lavoro di valutazione che ogni aggiornamento comporta.
Quando il self-hosting è la scelta giusta?
- Volume alto e costante. Pipeline batch che tengono le GPU sature giorno e notte.
- I dati devono restare nella tua rete. È un requisito vincolante, non un argomento di costo. Verifica prima se un’API con zero data retention rispetta le tue regole.
- Un modello che nessuna API serve. Il tuo fine-tune o un modello open-weight di nicchia.
- Capacità garantita. Ti serve un throughput che i rate limit di un’API non ti daranno.
In tutti gli altri casi, soprattutto con traffico irregolare, prodotti agli inizi e agenti che lavorano a raffiche, un’API costa meno e non richiede turni di reperibilità.
Esistono opzioni a prezzo fisso tra una GPU e la fatturazione per token?
Tra noleggiare una GPU e pagare per token c’è una via di mezzo. BroadNet vende una chiave oraria per Gemma 4 VL 26B a $0.50 all’ora (uno stream, 120 richieste al minuto, 300,000 token al minuto), cioè $360.00 se la tenessi attiva tutto il mese. Vende anche sessioni di piani illimitati per DeepSeek V4.1 Flash a $60 al mese, ognuna con una richiesta alla volta a circa 100 token al secondo. Danno una spesa prevedibile come una GPU a noleggio, senza setup né operatività, ma con una concorrenza fissa per chiave o per sessione invece della capacità di batch di un’intera GPU.
Dove si colloca BroadNet Inference
BroadNet Inference è il lato API di questo confronto: prezzi per token, piani flat e chiavi orarie per modelli open-weight, alcuni ospitati da partner di inferenza statunitensi, dietro un’API compatibile con OpenAI. È adatto ai team il cui traffico lascerebbe una GPU a noleggio ferma per buona parte della giornata, o che non vogliono gestire un’infrastruttura di inferenza. Non è adatto se ti serve il serving di un fine-tune personalizzato, un deployment on-premise o centinaia di richieste in parallelo su una sola chiave. Fai i tuoi conti con il calcolatore dei costi delle API LLM e confrontali con la tabella qui sopra. Se stai ancora scegliendo tra modelli aperti e chiusi, costo delle API di modelli open-weight e chiusi confronta i prezzi per token presi dalla pagina di ciascun provider. Il calcolatore self-hosting o API fa l’intero calcolo del pareggio con il throughput che hai misurato e questi prezzi delle GPU.
