Los tokens de entrada en caché son baratos, y en BroadNet Inference DeepSeek V4.1 Flash los factura a $0.0055 por 1M en lugar de $0.175. La explicación de los tokens en caché cubre el precio y cómo leer el campo de uso. Este artículo trata del trabajo de diseño: cómo organizar un prompt para que la caché realmente acierte y cómo demostrarlo.
¿Por qué el orden del prompt decide la tasa de aciertos de caché?
Todos los grandes proveedores cachean por prefijo. La guía de OpenAI dice que la reutilización exige que coincida todo el prefijo renderizado. La documentación de DeepSeek describe la misma regla: una solicitud acierta solo si coincide por completo con un prefijo almacenado, y una que se desvía a mitad de camino no acierta. Anthropic construye su caché en el orden herramientas, sistema, mensajes.
Por dentro, el servidor reutiliza la KV cache que construyó para ese prefijo. Así que la caché es una línea recta desde el primer token. El primer byte que difiere de la llamada anterior termina la parte reutilizable. Una marca de tiempo de una línea al principio de un prompt de 50,000 tokens le cuesta los 50,000 tokens a precio completo.
¿Cuál es el orden correcto de las capas?
| Capa | Cambia | Ejemplo | Regla |
|---|---|---|---|
| 1. Prompt del sistema | Con cada despliegue | Rol, reglas, formato de salida | Sin fechas, IDs ni nombres de usuario |
| 2. Definiciones de herramientas | Con cada despliegue | Esquemas de funciones | JSON ordenado y determinista |
| 3. Material de referencia | Por sesión o tarea | Archivos del repositorio, contratos, documentación del producto | Orden fijo, etiquetas estables |
| 4. Historial de la conversación | Por turno, solo se agrega | Turnos anteriores del usuario y del asistente | Nunca se edita; solo se agrega |
| 5. Mensaje nuevo | En cada llamada | La pregunta, más la hora actual si hace falta | Aquí van los datos variables |
La capa 5 es el lugar de todo lo variable: la fecha actual, la configuración regional del usuario, un ID de solicitud, fragmentos recuperados que cambian según la pregunta.
¿Qué rompe el prefijo sin que usted lo note?
- El orden de los diccionarios. Los frameworks suelen construir el arreglo
toolsa partir de un dict o un registro. Si los plugins se cargan en otro orden, los bytes cambian. - El formato del JSON.
json.dumps(x)yjson.dumps(x, indent=2)son prefijos distintos. También lo son dos serializadores con distinto orden de claves. - Espacios en las plantillas. Un espacio al final de una línea, o un
\r\ndesde una ruta del código y\ndesde otra. - Listas de herramientas dinámicas. Quitar las herramientas que un usuario no puede usar cambia el prefijo. La guía de OpenAI recomienda mantener estables las definiciones y restringir el uso con
tool_choiceo con una configuración de herramientas permitidas. - Resumir el historial en el mismo lugar. Reescribir turnos antiguos como un resumen reinicia todo lo que va después del prompt del sistema. Resuma pocas veces y en saltos grandes.
- Recuperación antes de las instrucciones. Los fragmentos de RAG colocados entre el prompt del sistema y las herramientas cambian con cada consulta y también rompen la capa de herramientas.
¿Cómo construir en código una solicitud amigable con la caché?
Haga que cada capa dependa solo de entradas estables y serialice de forma determinista:
import json, os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
SYSTEM = open("prompts/system.md").read() # versioned file, no templating
def stable_tools(registry: dict) -> list:
# Sort by name, sort keys inside each schema.
return [json.loads(json.dumps(registry[name], sort_keys=True)) for name in sorted(registry)]
def docs_block(paths: list[str]) -> str:
parts = [f"=== {p} ===\n{open(p).read()}" for p in sorted(paths)]
return "\n\n".join(parts)
def build_messages(history: list, user_text: str, now_iso: str, doc_paths: list[str]):
return (
[{"role": "system", "content": SYSTEM},
{"role": "user", "content": docs_block(doc_paths)}]
+ history # append-only
+ [{"role": "user", "content": f"(now: {now_iso})\n{user_text}"}]
)
resp = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash",
messages=build_messages(history, question, now_iso, files),
tools=stable_tools(TOOLS),
)
history += [{"role": "user", "content": question}, resp.choices[0].message.model_dump(exclude_none=True)]
Dos detalles. La hora actual va en el último mensaje, no en el prompt del sistema. Y el historial guarda el mensaje del asistente exactamente como se devolvió, para que la siguiente llamada reenvíe bytes idénticos.
¿Cómo demostrar que el prefijo está en caché?
Ejecute una prueba de dos llamadas en CI o en un notebook:
- Construya una solicitud con su prompt del sistema, sus herramientas y sus documentos reales.
- Envíela. Anote
usage.prompt_tokens. - Cambie solo el mensaje final del usuario y envíela de nuevo.
- Lea
usage.prompt_tokens_details.cached_tokensen la segunda llamada. Debería cubrir casi todo el prefijo compartido. - Si es cero o pequeño, compare byte a byte los cuerpos serializados de las solicitudes. La primera diferencia es lo que rompe su caché.
En la mayoría de los proveedores, la caché funciona según disponibilidad, y la documentación de DeepSeek lo dice directamente, así que un fallo aislado no prueba un error. Un fallo constante, sí. Siga la proporción de tokens en caché frente a tokens del prompt por solicitud en sus logs de uso y use la calculadora de prompt caching para ver cuánto ahorra una tasa de aciertos más alta.
¿Qué cambia con agentes y contexto largo?
Los agentes son los más beneficiados, porque reenvían el mismo prefijo grande decenas de veces por tarea. Hay dos hábitos que importan:
- Una conversación por tarea. Empezar una conversación nueva en cada subpaso descarta el prefijo.
- Lea los archivos una vez, cerca del principio. Si el agente vuelve a leer un archivo, agregue la copia nueva en lugar de reemplazar la anterior, salvo que el archivo haya cambiado.
Con una ventana de contexto de 1M de tokens, la capa 3 puede contener un repositorio entero. Eso solo resulta asequible con una clave de pago por token cuando queda en caché, y por eso el orden de las capas importa más a medida que crecen los prompts. Los prefijos en caché también suelen reducir el tiempo hasta el primer token; consulte TTFT vs. throughput.
Dónde encaja BroadNet Inference
En BroadNet Inference, el bloque usage reporta prompt_tokens_details.cached_tokens cuando el modelo lo informa, y la entrada en caché de DeepSeek V4.1 Flash, GLM 5.3 y Qwen3.8 27B se factura a la tarifa más baja indicada en la página de precios. La documentación de BroadNet no ofrece puntos de corte de caché explícitos ni un parámetro de clave de caché, así que la organización de arriba es toda la técnica. En un plan ilimitado, la caché no cambia la factura, porque las sesiones no tienen medidor de tokens, pero la misma estructura sigue ayudando a la latencia.
