BroadRouter
Inizia

Controllo della spesa API LLM: budget, limiti sulle chiavi e cicli

A cura del team di BroadNet Inference · 5 min di lettura · Pubblicato · Aggiornato

Controlla la spesa delle API LLM a strati: un saldo prepagato come tetto dell’account, una chiave per app bloccata sugli IP dei tuoi server, max_tokens e limiti di passaggi su ogni richiesta, e un budget nel codice che ferma un job prima che sfori. Registra i token per chiave e imposta avvisi sui tuoi numeri. Piani flat e chiavi orarie limitano lo scenario peggiore.

Quasi tutte le sorprese in bolletta con gli LLM hanno la stessa causa: qualcosa ha continuato a chiamare l’API senza che nessuno guardasse. Un ciclo di retry, un agente che non riusciva a finire, una chiave finita in un repository pubblico. Gli avvisi di budget te lo dicono a cose fatte. Questo articolo costruisce il controllo della spesa a strati, dall’account fino alla singola richiesta, e mostra quali parti gestisce BroadNet Inference e quali aggiungi tu nel codice.

Perché gli avvisi non bastano?

Un avviso confronta la spesa con una soglia dopo che l’uso è stato registrato. Un ciclo di un agente può fare decine di richieste al minuto. Quando arriva l’email, i soldi sono già andati. Usa gli avvisi come rete di sicurezza e metti il blocco rigido dove parte la richiesta.

Quali sono gli strati del controllo della spesa LLM?

Strato Controllo Cosa blocca Dove si imposta
Account Saldo prepagato Spesa oltre quanto hai caricato Account del provider
Chiave Una chiave per app o agente Una fuga che si porta via tutto Portale del provider
Chiave IP consentiti Una chiave rubata usata altrove Portale del provider
Richiesta max_tokens, reasoning_effort Una singola risposta enorme Il tuo codice
Job Limite di passaggi, limite di retry, rilevamento dei cicli Agenti fuori controllo Il tuo codice
Job Budget corrente per compito e per giorno Perdite lente su molte chiamate Il tuo codice o proxy
Reportistica Log dei token e avvisi Derive che non noteresti I tuoi log
Prezzo Piano flat o chiave oraria Il contatore di token stesso Scelta del piano

Livello account: come limita la spesa un saldo prepagato?

Le chiavi a consumo di BroadNet Inference attingono a un saldo prepagato dell’account; i nuovi account partono con $5 di credito e senza carta. Quando il plafond a consumo è esaurito, le richieste restituiscono 401, e un acquisto che il saldo non copre (come una chiave oraria) restituisce 402 insufficient_balance. Tratta entrambi come uno stop, non come qualcosa da ritentare. Il riferimento degli errori di BroadNet elenca anche un limite di spesa tra le cause di un 429, quindi leggi il corpo dell’errore prima di ritentare qualsiasi 429. Tutti i codici di errore e come gestire i 429 con il backoff.

Il saldo è il tuo tetto esterno. Caricalo per quanto sei disposto a perdere questo mese, non per un anno. Per stimare quella cifra, passa prima il traffico previsto nel calcolatore dei costi delle API LLM.

Livello chiave: come limitare i danni di una chiave finita online?

Una chiave API è un potere di spesa: chi la possiede può usare il tuo saldo. Limita il raggio d’azione di ogni chiave:

  1. Una chiave per app, agente o ambiente. BroadNet consente fino a 10 chiavi attive per account, ciascuna valida fino a un anno. Dai loro un nome, così i log ti dicono quale ha speso.
  2. Blocca le chiavi sui tuoi server. Aggiungi i tuoi IP o intervalli CIDR in uscita all’elenco di IP consentiti, fino a 32 voci. Le richieste da altri indirizzi ricevono un 403.
  3. Revoca in fretta. Revoche e modifiche agli IP consentiti si applicano alle nuove richieste entro cinque secondi.
  4. Tieni le credenziali del portale lontane dai server. Possono creare chiavi e fare acquisti. Le chiavi di inferenza chiamano solo i modelli.

Blocca le chiavi API con gli IP consentiti.

Livello richiesta: come limitare ogni risposta?

Imposta max_tokens su ogni chiamata. Sui modelli che ragionano (DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B) tienilo a 1.000 o più, perché il ragionamento condivide il budget e un valore troppo basso restituisce una risposta vuota che paghi comunque. Abbassa reasoning_effort sui compiti semplici. Come si pagano i token di ragionamento.

Livello job: come fermare un ciclo di un agente fuori controllo?

I cicli fuori controllo hanno segni riconoscibili: la stessa tool call che si ripete, il contesto che cresce a ogni turno e gli errori ritentati senza limite. Metti una protezione attorno al client:

import json, os, urllib.request
from openai import OpenAI

# Per-1M prices from BroadNet's machine-readable rate card
card = json.load(urllib.request.urlopen("https://inference.broadnet.ai/pricing.json"))
m = next(x for x in card["models"] if x["id"] == "broadnet/deepseek-v4.1-flash")
PRICE = {"in": m["input_per_m"], "cached": m["cached_input_per_m"], "out": m["output_per_m"]}
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"], max_retries=3)

class BudgetExceeded(Exception): pass

class Guard:
    def __init__(self, budget_usd, max_steps=40):
        self.budget, self.max_steps, self.spent, self.steps, self.last = budget_usd, max_steps, 0.0, 0, []

    def call(self, **kw):
        self.steps += 1
        if self.steps > self.max_steps: raise BudgetExceeded("step cap")
        if self.spent >= self.budget: raise BudgetExceeded("budget")
        r = client.chat.completions.create(max_tokens=kw.pop("max_tokens", 4000), **kw)
        u = r.usage
        cached = (u.prompt_tokens_details.cached_tokens or 0) if u.prompt_tokens_details else 0
        self.spent += ((u.prompt_tokens - cached) * PRICE["in"] + cached * PRICE["cached"]
                       + u.completion_tokens * PRICE["out"]) / 1e6
        calls = [(t.function.name, t.function.arguments) for t in (r.choices[0].message.tool_calls or [])]
        self.last = (self.last + [calls])[-3:]
        if calls and len(self.last) == 3 and all(c == calls for c in self.last):
            raise BudgetExceeded("same tool call three times")
        return r

La protezione legge i prezzi dal listino invece di scriverli nel codice, quindi resta corretta quando i prezzi cambiano. Passa a call() lo stesso modello di cui hai letto il prezzo. Tieni basso max_retries: gli SDK di OpenAI ritentano già 429 e 5xx, e ogni retry si paga di nuovo.

Per un team, esegui lo stesso controllo in un proxy condiviso, così ogni servizio attinge a un unico budget giornaliero. I retry si scontrano anche con i rate limit: il calcolatore dei rate limit mostra quante chiamate al minuto consente davvero la tua chiave.

Reportistica: cosa registrare e su cosa impostare gli avvisi?

Registra, per ogni richiesta: alias della chiave, nome della funzionalità o dell’agente, modello, prompt_tokens, prompt_tokens_details.cached_tokens, completion_tokens, stato e X-Request-ID. In streaming, imposta stream_options: {"include_usage": true}, altrimenti l’uso non arriva mai (guida allo streaming).

Da quei log, imposta avvisi su:

  • costo giornaliero per chiave superiore alla cifra attesa dalla tua stima dei costi;
  • token per compito oltre tre volte la mediana;
  • una quota di cache in calo, che alza i costi senza più traffico;
  • un tasso crescente di risposte 429 o 5xx, che significa retry.

BroadNet conserva registri senza contenuti, come tempi, conteggi di token e costi, non i prompt, quindi il dettaglio per funzionalità sta nei tuoi log. Evita di registrare il contenuto dei prompt se la tua policy sui dati lo vieta. Come costruire un logging dell’uso con costo per utente e per funzionalità.

Livello prezzo: quando un prezzo fisso batte un budget?

Il controllo della spesa più affidabile è un prezzo che non si muove:

  • Sessione di piano: $60 al mese (Full Moon), $15 a settimana (Orbit) o $1 all’ora (Meteor) per DeepSeek V4.1 Flash illimitato, una richiesta alla volta. Le richieste con una chiave di piano non attingono mai al tuo saldo.
  • Chiave oraria: $0.50 per un’ora di Gemma 4 VL 26B su uno stream. Adatta alle chiavi che escono dai tuoi server. Le chiavi orarie spiegate.

Un ciclo su un piano spreca tempo, non soldi. I limiti di passaggi ti servono comunque, perché un agente bloccato occupa la sessione e impedisce altro lavoro. Se un piano costi meno della tua fattura a consumo dipende dal volume; il calcolatore tariffa flat o per token ti dà il pareggio per il tuo mix di token.

Anche le tariffe per token possono salire senza preavviso. 52 aumenti di prezzo delle API LLM archiviati mostrano quanto spesso è successo, presso quali provider e di quanto.

Una checklist breve

  1. Saldo prepagato dimensionato sul tuo limite mensile.
  2. Una chiave con nome per app, con elenco di IP consentiti.
  3. max_tokens su ogni richiesta.
  4. Limite di passaggi, limite di retry e rilevamento delle chiamate ripetute su ogni agente.
  5. Costo corrente per job, controllato prima di ogni chiamata.
  6. Log dei token per richiesta, con avvisi sulle tue soglie.
  7. Un piano flat o una chiave oraria ovunque l’uso sia continuo o la chiave sia esposta.

Dove si colloca BroadNet Inference

BroadNet ti dà gli strati di account e chiave: saldo prepagato, chiavi separate, IP consentiti con revoca in pochi secondi, piani a prezzo fisso e chiavi orarie. Non fornisce i budget a livello di job descritti in questo articolo; quelli stanno nel tuo codice o nel tuo proxy. Se ti servono budget per team su molti provider, lo strumento giusto è un gateway davanti a tutti. Leggi i prezzi.

Domande frequenti

Come imposto un limite di spesa su un’API LLM?

Usa il saldo prepagato o il tetto di spesa del provider come limite esterno, poi applica nel codice un tuo budget per job e per giorno prima di ogni richiesta, perché limiti e avvisi del provider possono restare indietro rispetto a un ciclo veloce.

Come evito che un agente AI mi faccia una bolletta enorme?

Limita i passaggi per compito, limita i retry, imposta max_tokens su ogni richiesta, rileva le tool call identiche ripetute e ferma il job quando il suo costo corrente supera un budget.

Devo ritentare un errore 401 o 402 quando il saldo è finito?

No. Su BroadNet un plafond a consumo esaurito restituisce 401, e 402 insufficient_balance significa che l’account non copre un acquisto come una chiave oraria. Prima ricarica l’account. Ritenta invece 429 e 5xx con backoff.

Cosa devo registrare per tenere traccia della spesa LLM?

Per ogni richiesta, registra alias della chiave, nome della funzionalità o dell’agente, modello, prompt_tokens, cached_tokens, completion_tokens, codice di stato e ID della richiesta. Moltiplica per il file dei prezzi per ottenere il costo.

Un piano a tariffa flat è una forma di controllo della spesa?

Sì. Una sessione di piano o una chiave oraria costa uguale qualunque sia il numero di token usati, quindi un ciclo costa tempo, non soldi.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity