La mayor parte de lo que envía un agente es igual en cada turno. El prompt caching permite que el proveedor evite recalcular esa parte repetida y la cobre a menor precio.
Cómo funciona
Cuando un modelo lee un prompt, calcula un estado interno para cada token. Un proveedor puede conservar ese estado por poco tiempo. Si la siguiente solicitud empieza con los mismos tokens, el proveedor lee el estado guardado en lugar de recalcularlo. Esos tokens son los tokens de entrada en caché.
Los cachés coinciden desde el inicio del prompt. La guía de OpenAI dice que la reutilización “requires the entire rendered prefix to match” (traducción: requiere que todo el prefijo renderizado coincida). Un solo carácter cambiado al principio del prompt convierte todo lo que sigue en entrada nueva.
Los proveedores difieren en los detalles:
- OpenAI activa el caché de forma predeterminada en los modelos compatibles e informa los aciertos en el bloque de uso. Documenta un prefijo mínimo de 1,024 tokens en sus modelos más nuevos.
- Anthropic cobra las lecturas de caché a 0.1 veces el precio base de entrada en la mayoría de los modelos, cobra las escrituras con un recargo y conserva las entradas 5 minutos de forma predeterminada.
En el formato de Chat Completions, los aciertos aparecen como usage.prompt_tokens_details.cached_tokens. La tasa de caché es ese número dividido entre prompt_tokens.
Por qué importa
En prompts largos y repetidos, la tasa de caché decide la factura. Un agente que reenvía un repositorio de 200,000 tokens en cada turno paga el precio completo de entrada una vez y el precio en caché después, siempre que el prefijo se mantenga estable. El caché también puede acortar el tiempo hasta el primer token en prompts largos, porque se hace menos trabajo antes de empezar a generar.
Para subir la tasa, ponga primero el contenido estable (prompt de sistema, definiciones de herramientas, documentos) y al final el contenido que cambia. Mantenga las marcas de tiempo y los IDs de solicitud fuera del inicio del prompt, y conserve las listas de herramientas en un orden fijo. Qué proporción de los precios publicados por los proveedores incluye un precio de entrada en caché, y el descuento típico, está en el índice de precios de APIs de LLM.
En BroadNet Inference
BroadNet publica precios de entrada en caché para tres modelos de chat, por millón de tokens:
| Modelo | Entrada nueva | Entrada en caché |
|---|---|---|
| DeepSeek V4.1 Flash | $0.175 | $0.0055 |
| GLM 5.3 | $0.78 | $0.173 |
| Qwen3.8 27B | $0.175 | $0.0435 |
Los tokens en caché se cobran automáticamente al precio menor, y prompt_tokens_details.cached_tokens los muestra cuando el modelo los informa. En un stream, solicite el uso con stream_options como se muestra en la guía de streaming.
En un plan de tarifa plana no hay medidor de tokens, así que la tasa de caché no cambia la factura. El recorrido completo, con código para registrar su tasa, está en tokens de entrada en caché explicados.