BroadRouter
Comenzar

Control de gasto en APIs de LLM: presupuestos, límites y bucles

Por el equipo de BroadNet Inference · 5 min de lectura · Publicado · Actualizado

Controle el gasto de su API de LLM por capas: un saldo prepago como techo de la cuenta, una clave por app restringida a las IPs de sus servidores, max_tokens y límites de pasos en cada solicitud, y un presupuesto en código que detenga una tarea antes de excederse. Registre los tokens por clave y genere alertas con sus propias cifras. Los planes de tarifa plana y las claves por hora limitan el peor caso.

La mayoría de las sorpresas en la factura de un LLM tienen la misma causa: algo siguió llamando a la API sin que nadie lo vigilara. Un bucle de reintentos, un agente que no pudo terminar, una clave filtrada en un repositorio público. Las alertas de presupuesto le avisan cuando ya ocurrió. Este artículo construye el control de gasto por capas, desde la cuenta hasta la solicitud individual, y muestra qué partes resuelve BroadNet Inference y cuáles añade usted en código.

¿Por qué no bastan las alertas?

Una alerta compara el gasto con un umbral después de registrar el uso. Un bucle de agente puede hacer decenas de solicitudes por minuto. Para cuando llega un correo, el dinero ya se fue. Use las alertas como último recurso y ponga el freno estricto donde se hace la solicitud.

¿Cuáles son las capas del control de gasto en LLM?

Capa Control Qué detiene Dónde se configura
Cuenta Saldo prepago Gastar más de lo que recargó Cuenta del proveedor
Clave Una clave por app o agente Que una sola filtración lo consuma todo Portal del proveedor
Clave Lista de IPs permitidas Que una clave robada se use desde otro lugar Portal del proveedor
Solicitud max_tokens, reasoning_effort Una respuesta enorme Su código
Tarea Límite de pasos, límite de reintentos, detección de bucles Agentes descontrolados Su código
Tarea Presupuesto acumulado por tarea y por día Fugas lentas a lo largo de muchas llamadas Su código o proxy
Reportes Registro de tokens y alertas Desviaciones que no notaría Sus logs
Precios Plan de tarifa plana o clave por hora El propio medidor de tokens Elección de plan

Nivel de cuenta: ¿cómo limita el gasto un saldo prepago?

Las claves de pago por uso de BroadNet Inference consumen un saldo prepago de la cuenta; las cuentas nuevas empiezan con $5 de crédito y sin tarjeta. Cuando se agota la asignación de pago por uso, las solicitudes devuelven 401, y una compra que el saldo no cubre (como una clave por hora) devuelve 402 insufficient_balance. Trate ambos como una señal de alto, no como algo que reintentar. La referencia de errores de BroadNet también incluye un límite de gasto entre las causas de un 429, así que lea el cuerpo del error antes de reintentar cualquier 429. Todos los códigos de error y cómo manejar los 429 con backoff.

El saldo es su techo exterior. Recárguelo con lo que esté dispuesto a perder este mes, no con lo de un año. Para dimensionar esa cifra, pase primero su tráfico esperado por la calculadora de costos de API de LLM.

Nivel de clave: ¿cómo limitar el daño de una clave filtrada?

Una clave de API es una autorización de gasto: quien la tenga puede usar su saldo. Limite el radio de impacto de cada clave:

  1. Una clave por app, agente o entorno. BroadNet permite hasta 10 claves activas por cuenta, cada una válida hasta un año. Póngales nombre para que los logs indiquen cuál gastó.
  2. Restrinja las claves a sus servidores. Añada sus IPs de salida o rangos CIDR a la lista de IPs permitidas, con hasta 32 entradas. Las solicitudes desde otras direcciones reciben un 403.
  3. Revoque rápido. Las revocaciones y los cambios en la lista de IPs permitidas se aplican a las solicitudes nuevas en menos de cinco segundos.
  4. Mantenga las credenciales del portal fuera de los servidores. Con ellas se pueden crear claves y hacer compras. Las claves de inferencia solo llaman a modelos.

Restrinja las claves de API con listas de IPs permitidas.

Nivel de solicitud: ¿cómo acotar cada respuesta?

Configure max_tokens en cada llamada. En los modelos de razonamiento (DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B) manténgalo en 1,000 o más, porque el razonamiento comparte el presupuesto y un valor demasiado bajo devuelve una respuesta vacía que igualmente paga. Reduzca reasoning_effort en tareas sencillas. Cómo se facturan los tokens de razonamiento.

Nivel de tarea: ¿cómo detener un bucle de agente descontrolado?

Los bucles descontrolados tienen señales reconocibles: la misma llamada a herramienta que se repite, un contexto que crece en cada turno y errores que se reintentan sin límite. Envuelva el cliente con una protección:

import json, os, urllib.request
from openai import OpenAI

# Per-1M prices from BroadNet's machine-readable rate card
card = json.load(urllib.request.urlopen("https://inference.broadnet.ai/pricing.json"))
m = next(x for x in card["models"] if x["id"] == "broadnet/deepseek-v4.1-flash")
PRICE = {"in": m["input_per_m"], "cached": m["cached_input_per_m"], "out": m["output_per_m"]}
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"], max_retries=3)

class BudgetExceeded(Exception): pass

class Guard:
    def __init__(self, budget_usd, max_steps=40):
        self.budget, self.max_steps, self.spent, self.steps, self.last = budget_usd, max_steps, 0.0, 0, []

    def call(self, **kw):
        self.steps += 1
        if self.steps > self.max_steps: raise BudgetExceeded("step cap")
        if self.spent >= self.budget: raise BudgetExceeded("budget")
        r = client.chat.completions.create(max_tokens=kw.pop("max_tokens", 4000), **kw)
        u = r.usage
        cached = (u.prompt_tokens_details.cached_tokens or 0) if u.prompt_tokens_details else 0
        self.spent += ((u.prompt_tokens - cached) * PRICE["in"] + cached * PRICE["cached"]
                       + u.completion_tokens * PRICE["out"]) / 1e6
        calls = [(t.function.name, t.function.arguments) for t in (r.choices[0].message.tool_calls or [])]
        self.last = (self.last + [calls])[-3:]
        if calls and len(self.last) == 3 and all(c == calls for c in self.last):
            raise BudgetExceeded("same tool call three times")
        return r

La protección lee los precios de la tabla de tarifas en lugar de escribirlos fijos en el código, así que sigue siendo correcta cuando cambian los precios. Pase a call() el mismo modelo cuyo precio calculó. Mantenga max_retries bajo: los SDK de OpenAI ya reintentan los 429 y 5xx, y cada reintento se factura de nuevo.

Para un equipo, ejecute la misma verificación en un proxy compartido para que todos los servicios consuman un único presupuesto diario. Los reintentos también chocan con los límites de tasa: la calculadora de límites de tasa muestra cuántas llamadas por minuto permite realmente su clave.

Reportes: ¿qué registrar y cuándo alertar?

Registre en cada solicitud: alias de la clave, nombre de la función o del agente, modelo, prompt_tokens, prompt_tokens_details.cached_tokens, completion_tokens, estado y X-Request-ID. Con streaming, configure stream_options: {"include_usage": true} o el uso nunca llegará (guía de streaming).

A partir de esos logs, genere alertas cuando haya:

  • un costo diario por clave superior al previsto en su estimación de costos;
  • tokens por tarea más de tres veces por encima de la mediana;
  • una caída en la proporción de caché, que sube el costo sin más tráfico;
  • una tasa creciente de respuestas 429 o 5xx, que significa reintentos.

BroadNet conserva registros sin contenido, como tiempos, conteos de tokens y costo, no prompts, así que el detalle por función vive en sus propios logs. Evite registrar el contenido de los prompts si su política de datos lo prohíbe. Cómo crear un registro de uso con costo por usuario y por función.

Nivel de precios: ¿cuándo un precio fijo supera a un presupuesto?

El control de gasto más fiable es un precio que no se mueve:

  • Sesión de plan: $60 al mes (Luna Llena, Full Moon), $15 a la semana (Órbita, Orbit) o $1 por hora (Meteoro, Meteor) por DeepSeek V4.1 Flash ilimitado, con una solicitud a la vez. Las solicitudes con una clave de plan nunca consumen su saldo.
  • Clave por hora: $0.50 por una hora de Gemma 4 VL 26B en un stream. Buena opción para claves que salen de sus servidores. Claves por hora explicadas.

Un bucle en un plan desperdicia tiempo, no dinero. Aun así conviene limitar los pasos, porque un agente atascado bloquea la sesión para otro trabajo. Que un plan resulte más barato que su factura por consumo depende del volumen; la calculadora de tarifa plana vs. pago por token le da el punto de equilibrio para su mezcla de tokens.

Las tarifas por token también pueden subir sin aviso. 52 subidas de precios de APIs de LLM archivadas muestran con qué frecuencia ocurrió, en qué proveedores y en qué medida.

Lista de verificación breve

  1. Saldo prepago dimensionado según su límite mensual.
  2. Una clave con nombre por app, con lista de IPs permitidas.
  3. max_tokens en cada solicitud.
  4. Límite de pasos, límite de reintentos y detección de llamadas repetidas en cada agente.
  5. Costo acumulado por tarea, verificado antes de cada llamada.
  6. Registro de tokens por solicitud, con alertas según sus umbrales.
  7. Un plan de tarifa plana o una clave por hora dondequiera que el uso sea continuo o la clave esté expuesta.

Dónde encaja BroadNet Inference

BroadNet le da las capas de cuenta y de clave: saldo prepago, claves separadas, listas de IPs permitidas con revocación en segundos, y planes de precio fijo y claves por hora. No ofrece los presupuestos por tarea de este artículo; esos van en su código o en su proxy. Si necesita presupuestos por equipo con muchos proveedores, la herramienta adecuada es un gateway delante de todos ellos. Consulte los precios.

Preguntas frecuentes

¿Cómo fijo un límite de gasto en una API de LLM?

Use el saldo prepago o el tope de gasto del proveedor como límite exterior y, después, aplique en código su propio presupuesto por tarea y por día antes de cada solicitud, porque los límites y alertas del proveedor pueden ir por detrás de un bucle rápido.

¿Cómo evito que un agente de IA dispare la factura?

Limite los pasos por tarea, limite los reintentos, configure max_tokens en cada solicitud, detecte llamadas a herramientas idénticas repetidas y detenga la tarea cuando su costo acumulado supere un presupuesto.

¿Debo reintentar un error 401 o 402 cuando se agota mi saldo?

No. En BroadNet, una asignación de pago por uso agotada devuelve 401, y 402 insufficient_balance significa que la cuenta no puede cubrir una compra, como una clave por hora. Recargue primero la cuenta. Reintente con backoff los 429 y 5xx, no esos.

¿Qué debo registrar para seguir el gasto en LLM?

Por solicitud, registre el alias de la clave, el nombre de la función o del agente, el modelo, prompt_tokens, cached_tokens, completion_tokens, el código de estado y el ID de la solicitud. Multiplique por el archivo de precios para obtener el costo.

¿Un plan de tarifa plana es una forma de controlar el gasto?

Sí. Una sesión de plan o una clave por hora cuesta lo mismo sin importar cuántos tokens use, así que un bucle cuesta tiempo, no dinero.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity