Quasi tutte le sorprese in bolletta con gli LLM hanno la stessa causa: qualcosa ha continuato a chiamare l’API senza che nessuno guardasse. Un ciclo di retry, un agente che non riusciva a finire, una chiave finita in un repository pubblico. Gli avvisi di budget te lo dicono a cose fatte. Questo articolo costruisce il controllo della spesa a strati, dall’account fino alla singola richiesta, e mostra quali parti gestisce BroadNet Inference e quali aggiungi tu nel codice.
Perché gli avvisi non bastano?
Un avviso confronta la spesa con una soglia dopo che l’uso è stato registrato. Un ciclo di un agente può fare decine di richieste al minuto. Quando arriva l’email, i soldi sono già andati. Usa gli avvisi come rete di sicurezza e metti il blocco rigido dove parte la richiesta.
Quali sono gli strati del controllo della spesa LLM?
| Strato | Controllo | Cosa blocca | Dove si imposta |
|---|---|---|---|
| Account | Saldo prepagato | Spesa oltre quanto hai caricato | Account del provider |
| Chiave | Una chiave per app o agente | Una fuga che si porta via tutto | Portale del provider |
| Chiave | IP consentiti | Una chiave rubata usata altrove | Portale del provider |
| Richiesta | max_tokens, reasoning_effort |
Una singola risposta enorme | Il tuo codice |
| Job | Limite di passaggi, limite di retry, rilevamento dei cicli | Agenti fuori controllo | Il tuo codice |
| Job | Budget corrente per compito e per giorno | Perdite lente su molte chiamate | Il tuo codice o proxy |
| Reportistica | Log dei token e avvisi | Derive che non noteresti | I tuoi log |
| Prezzo | Piano flat o chiave oraria | Il contatore di token stesso | Scelta del piano |
Livello account: come limita la spesa un saldo prepagato?
Le chiavi a consumo di BroadNet Inference attingono a un saldo prepagato dell’account; i nuovi account partono con $5 di credito e senza carta. Quando il plafond a consumo è esaurito, le richieste restituiscono 401, e un acquisto che il saldo non copre (come una chiave oraria) restituisce 402 insufficient_balance. Tratta entrambi come uno stop, non come qualcosa da ritentare. Il riferimento degli errori di BroadNet elenca anche un limite di spesa tra le cause di un 429, quindi leggi il corpo dell’errore prima di ritentare qualsiasi 429. Tutti i codici di errore e come gestire i 429 con il backoff.
Il saldo è il tuo tetto esterno. Caricalo per quanto sei disposto a perdere questo mese, non per un anno. Per stimare quella cifra, passa prima il traffico previsto nel calcolatore dei costi delle API LLM.
Livello chiave: come limitare i danni di una chiave finita online?
Una chiave API è un potere di spesa: chi la possiede può usare il tuo saldo. Limita il raggio d’azione di ogni chiave:
- Una chiave per app, agente o ambiente. BroadNet consente fino a 10 chiavi attive per account, ciascuna valida fino a un anno. Dai loro un nome, così i log ti dicono quale ha speso.
- Blocca le chiavi sui tuoi server. Aggiungi i tuoi IP o intervalli CIDR in uscita all’elenco di IP consentiti, fino a 32 voci. Le richieste da altri indirizzi ricevono un 403.
- Revoca in fretta. Revoche e modifiche agli IP consentiti si applicano alle nuove richieste entro cinque secondi.
- Tieni le credenziali del portale lontane dai server. Possono creare chiavi e fare acquisti. Le chiavi di inferenza chiamano solo i modelli.
Blocca le chiavi API con gli IP consentiti.
Livello richiesta: come limitare ogni risposta?
Imposta max_tokens su ogni chiamata. Sui modelli che ragionano (DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B) tienilo a 1.000 o più, perché il ragionamento condivide il budget e un valore troppo basso restituisce una risposta vuota che paghi comunque. Abbassa reasoning_effort sui compiti semplici. Come si pagano i token di ragionamento.
Livello job: come fermare un ciclo di un agente fuori controllo?
I cicli fuori controllo hanno segni riconoscibili: la stessa tool call che si ripete, il contesto che cresce a ogni turno e gli errori ritentati senza limite. Metti una protezione attorno al client:
import json, os, urllib.request
from openai import OpenAI
# Per-1M prices from BroadNet's machine-readable rate card
card = json.load(urllib.request.urlopen("https://inference.broadnet.ai/pricing.json"))
m = next(x for x in card["models"] if x["id"] == "broadnet/deepseek-v4.1-flash")
PRICE = {"in": m["input_per_m"], "cached": m["cached_input_per_m"], "out": m["output_per_m"]}
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"], max_retries=3)
class BudgetExceeded(Exception): pass
class Guard:
def __init__(self, budget_usd, max_steps=40):
self.budget, self.max_steps, self.spent, self.steps, self.last = budget_usd, max_steps, 0.0, 0, []
def call(self, **kw):
self.steps += 1
if self.steps > self.max_steps: raise BudgetExceeded("step cap")
if self.spent >= self.budget: raise BudgetExceeded("budget")
r = client.chat.completions.create(max_tokens=kw.pop("max_tokens", 4000), **kw)
u = r.usage
cached = (u.prompt_tokens_details.cached_tokens or 0) if u.prompt_tokens_details else 0
self.spent += ((u.prompt_tokens - cached) * PRICE["in"] + cached * PRICE["cached"]
+ u.completion_tokens * PRICE["out"]) / 1e6
calls = [(t.function.name, t.function.arguments) for t in (r.choices[0].message.tool_calls or [])]
self.last = (self.last + [calls])[-3:]
if calls and len(self.last) == 3 and all(c == calls for c in self.last):
raise BudgetExceeded("same tool call three times")
return r
La protezione legge i prezzi dal listino invece di scriverli nel codice, quindi resta corretta quando i prezzi cambiano. Passa a call() lo stesso modello di cui hai letto il prezzo. Tieni basso max_retries: gli SDK di OpenAI ritentano già 429 e 5xx, e ogni retry si paga di nuovo.
Per un team, esegui lo stesso controllo in un proxy condiviso, così ogni servizio attinge a un unico budget giornaliero. I retry si scontrano anche con i rate limit: il calcolatore dei rate limit mostra quante chiamate al minuto consente davvero la tua chiave.
Reportistica: cosa registrare e su cosa impostare gli avvisi?
Registra, per ogni richiesta: alias della chiave, nome della funzionalità o dell’agente, modello, prompt_tokens, prompt_tokens_details.cached_tokens, completion_tokens, stato e X-Request-ID. In streaming, imposta stream_options: {"include_usage": true}, altrimenti l’uso non arriva mai (guida allo streaming).
Da quei log, imposta avvisi su:
- costo giornaliero per chiave superiore alla cifra attesa dalla tua stima dei costi;
- token per compito oltre tre volte la mediana;
- una quota di cache in calo, che alza i costi senza più traffico;
- un tasso crescente di risposte 429 o 5xx, che significa retry.
BroadNet conserva registri senza contenuti, come tempi, conteggi di token e costi, non i prompt, quindi il dettaglio per funzionalità sta nei tuoi log. Evita di registrare il contenuto dei prompt se la tua policy sui dati lo vieta. Come costruire un logging dell’uso con costo per utente e per funzionalità.
Livello prezzo: quando un prezzo fisso batte un budget?
Il controllo della spesa più affidabile è un prezzo che non si muove:
- Sessione di piano: $60 al mese (Full Moon), $15 a settimana (Orbit) o $1 all’ora (Meteor) per DeepSeek V4.1 Flash illimitato, una richiesta alla volta. Le richieste con una chiave di piano non attingono mai al tuo saldo.
- Chiave oraria: $0.50 per un’ora di Gemma 4 VL 26B su uno stream. Adatta alle chiavi che escono dai tuoi server. Le chiavi orarie spiegate.
Un ciclo su un piano spreca tempo, non soldi. I limiti di passaggi ti servono comunque, perché un agente bloccato occupa la sessione e impedisce altro lavoro. Se un piano costi meno della tua fattura a consumo dipende dal volume; il calcolatore tariffa flat o per token ti dà il pareggio per il tuo mix di token.
Anche le tariffe per token possono salire senza preavviso. 52 aumenti di prezzo delle API LLM archiviati mostrano quanto spesso è successo, presso quali provider e di quanto.
Una checklist breve
- Saldo prepagato dimensionato sul tuo limite mensile.
- Una chiave con nome per app, con elenco di IP consentiti.
max_tokenssu ogni richiesta.- Limite di passaggi, limite di retry e rilevamento delle chiamate ripetute su ogni agente.
- Costo corrente per job, controllato prima di ogni chiamata.
- Log dei token per richiesta, con avvisi sulle tue soglie.
- Un piano flat o una chiave oraria ovunque l’uso sia continuo o la chiave sia esposta.
Dove si colloca BroadNet Inference
BroadNet ti dà gli strati di account e chiave: saldo prepagato, chiavi separate, IP consentiti con revoca in pochi secondi, piani a prezzo fisso e chiavi orarie. Non fornisce i budget a livello di job descritti in questo articolo; quelli stanno nel tuo codice o nel tuo proxy. Se ti servono budget per team su molti provider, lo strumento giusto è un gateway davanti a tutti. Leggi i prezzi.
