Un chat cuesta lo que usted escribe más lo que escribe el modelo. Un agente cuesta mucho más, porque llama al modelo decenas de veces y reenvía casi todo cada vez. Si quiere reducir ese costo, o simplemente dejar de chocar con la ventana de contexto, necesita saber qué parte de cada solicitud es la grande. Este artículo divide el bucle de un agente en cinco bloques, muestra cómo medir cada uno con los datos de uso de la propia API y enumera qué recortar primero.
¿Por qué un agente lo reenvía todo?
Las APIs de chat completions no guardan estado. El modelo no recuerda nada entre llamadas, así que el agente envía el contexto completo en cada paso. Una tarea de 40 pasos en la que cada llamada lleva 30,000 tokens lee 1.2 millones de tokens de entrada para producir quizá 40,000 tokens de salida. Esa proporción de 30 a 1 es la razón por la que los tokens de entrada y su precio en caché dominan la factura de los agentes.
¿Adónde van los tokens?
| Bloque | Qué es | ¿Se repite en cada llamada? | Causa típica |
|---|---|---|---|
| Prompt de sistema | Instrucciones del agente, archivos de reglas, notas del proyecto | Sí | Archivos de reglas largos |
| Esquemas de herramientas | Nombre, descripción y JSON Schema de cada herramienta | Sí | Herramientas integradas más cada servidor MCP |
| Historial | Mensajes anteriores, llamadas a herramientas y resultados | Sí, y crece | Sesiones largas |
| Lecturas de archivos y salida de herramientas | Contenido de archivos, logs de pruebas, resultados de búsqueda | Sí, hasta que se eliminan | Leer archivos completos, comandos verbosos |
| Salida | Respuesta visible, llamadas a herramientas y razonamiento | No | Esfuerzo de razonamiento, reescribir archivos completos |
Los dos primeros son una carga fija. Cursor escribió en septiembre de 2026 que el prompt de sistema y las definiciones de herramientas “had become one of the largest sources of spend that we fully control” (Traducción: se habían convertido en una de las mayores fuentes de gasto que controlamos por completo), y llamó a las lecturas de archivos “another large source of token spend” (Traducción: otra gran fuente de gasto de tokens). Sus cambios, entre ellos recortar unos dos tercios del prompt de sistema y cargar solo cuando hacen falta las herramientas usadas en menos del 20 % de las conversaciones, redujeron un 7 % el costo de tokens de sus usuarios. El equipo de VS Code de GitHub señaló los mismos dos costos en Copilot: el prefijo de prompt repetido y la carga de las definiciones de herramientas.
¿Cómo se mide?
No necesita un producto de trazabilidad. El bloque usage de cada respuesta basta.
- Active el uso. Con streaming, añada
stream_options: {"include_usage": true}; el uso llega en el último chunk. Vea streaming. - Registre por llamada: número de paso,
prompt_tokens,prompt_tokens_details.cached_tokens,completion_tokensy, cuando se informe,completion_tokens_details.reasoning_tokens. - Mida la carga fija una vez. Envíe una solicitud con solo el prompt de sistema, las herramientas y la palabra “hi”. Su
prompt_tokenses su mínimo. - Mida la salida de una herramienta. Cuente los caracteres de cada resultado de herramienta antes de añadirlo. Dividir entre cuatro da un recuento aproximado de tokens en inglés; pegue una muestra en el contador de tokens gratuito para obtener la cifra exacta con el tokenizador de su modelo.
r = client.chat.completions.create(model=MODEL, messages=msgs, tools=tools)
u = r.usage
cached = getattr(u.prompt_tokens_details, "cached_tokens", 0) or 0
log.info("step=%d prompt=%d cached=%d out=%d", step, u.prompt_tokens, cached, u.completion_tokens)
Grafique prompt_tokens por paso. Una pendiente constante significa que el historial crece. Un salto repentino significa que un archivo o log grande entró al contexto. Un mínimo alto significa demasiadas herramientas.
En Aider, /tokens informa de lo que hay en el contexto actual, y /drop elimina archivos de él.
¿Qué recortar primero?
Ordene por tamaño multiplicado por repeticiones, no por lo que resulte más fácil:
- Herramientas sin uso. Cada esquema de herramienta viaja en cada llamada. La guía de OpenAI dice que las definiciones de funciones “are billed as input tokens” (Traducción: se facturan como tokens de entrada) y sugiere, como regla flexible, menos de 20 funciones al inicio de un turno. Desactive los servidores MCP que no use en esta tarea; la documentación de opencode dice claramente que las herramientas MCP consumen contexto del modelo.
- Salida de herramientas. Limite la salida de los comandos (las últimas 200 líneas de un log de pruebas, no 20,000). Devuelva los resultados de búsqueda como rutas y números de línea, y luego lea solo lo necesario.
- Lecturas de archivos. Lea la función, no el archivo. El mapa del repositorio de Aider usa un presupuesto por defecto de 1k tokens (
--map-tokens) en lugar de archivos completos. - Historial. Empiece una tarea nueva por cada cambio. Cuando una sesión deba continuar, sustituya los turnos antiguos por un resumen breve.
- Prompt de sistema. Elimine las reglas que el modelo ya sigue. Mantenga estable el resto.
- Salida. Pida diffs, no archivos completos. Ponga
reasoning_effortenlowpara los pasos rutinarios. Los tokens de razonamiento se facturan como salida.
¿Por qué mantener estable el prefijo?
Los proveedores almacenan en caché un prefijo repetido y lo facturan a una tarifa más baja. En BroadNet Inference, DeepSeek V4.1 Flash factura la entrada en caché a $0.0055 por 1M de tokens y la entrada nueva a $0.175. GLM 5.3 factura $0.173 frente a $0.78. Una marca de tiempo en el prompt de sistema, o herramientas listadas en otro orden en cada llamada, rompen la caché a partir de ese punto. Ponga primero las partes estables, en un orden fijo, y al final las que cambian. Más en los tokens de entrada en caché, explicados; la calculadora de prompt caching muestra lo que ahorra una tasa de aciertos dada.
La caché reduce el precio del prefijo, pero no su tamaño. Los tokens en caché siguen llenando la ventana de contexto y siguen tardando en procesarse.
¿Cómo se ve el presupuesto calculado de un agente?
Tome la tarea de 40 pasos de arriba, con el 80 % de la entrada en caché:
| Parte | Tokens | Se factura a |
|---|---|---|
| Entrada nueva | 240,000 | Precio de entrada |
| Entrada en caché | 960,000 | Precio de entrada en caché |
| Salida, razonamiento incluido | 40,000 | Precio de salida |
Quitar 5,000 tokens de esquemas de herramientas sin uso en cada llamada elimina 200,000 tokens de entrada de esta tarea, cerca de una sexta parte del total, sin cambiar en nada el comportamiento del agente. Para las palancas de costo más allá del recorte, como la elección de modelo, la caché y los planes de tarifa plana, vea 10 formas de reducir el costo de LLM de un agente de programación. En configuraciones multiagente, multiplique por el número de agentes; vea lo que cuestan los sistemas multiagente. Para modelar su propio bucle paso a paso, use el estimador del costo de ejecución de agentes.
Dónde encaja BroadNet Inference
BroadNet Inference devuelve los tokens de prompt y de completion en el bloque usage, además de los tokens en caché y de razonamiento cuando el modelo los informa, así que la medición anterior funciona tal como está escrita. Su precio bajo de entrada en caché en DeepSeek V4.1 Flash premia un prefijo estable. Si recortar no le compensa el tiempo, los planes ilimitados eliminan el medidor de tokens de DeepSeek V4.1 Flash por $60 al mes por sesión; la ventana de contexto sigue aplicándose, y un contexto ligero sigue siendo más rápido. Los planes están en inference.broadnet.ai/plans.
