BroadRouter

Reducir tokens del prompt: recortes medidos en sistema, tools y datos

Por el equipo de BroadNet Inference · 7 min de lectura · Publicado · Actualizado

Mida primero: registre prompt_tokens por llamada, halle la parte más grande y compare antes y después con el tokenizador del modelo. En cinco tokenizadores, recortar un prompt del sistema verboso ahorró del 68 al 71 % y CSV usó un 31 a 41 % menos tokens que JSON minificado. En tres modelos, un prompt recortado con 3 herramientas breves en vez de 10 verbosas redujo la solicitud renderizada completa en torno a un 65-71 %.

Los prompts más cortos cuestan menos, dejan más espacio de la ventana de contexto para el trabajo y suelen devolver antes el primer token. Pero “haga el prompt más corto” es un consejo vago. Este artículo mide recortes habituales sobre un prompt realista de un bot de soporte, con los tokenizadores reales de cuatro modelos abiertos y el o200k_base de OpenAI, para que vea qué cambios valen su tiempo.

Si usa un agente de programación, el presupuesto de tokens del agente cubre ese bucle. Este artículo trata de prompts de aplicaciones: chatbots, clasificadores y tareas de extracción.

¿Cómo medimos?

Todos los conteos de abajo son nuestros, hechos el 15 de noviembre de 2026:

  • Tokenizadores. Los archivos tokenizer.json oficiales de DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B y Gemma 4 26B A4B de Google, cada uno en una revisión fija de Hugging Face (vea Fuentes), cargados con tokenizers 0.23.3 de Hugging Face. Además, o200k_base de tiktoken 0.14.0, para comparar con los modelos GPT. No se añadieron tokens especiales.
  • Prompts renderizados. Para DeepSeek, GLM y Qwen, también renderizamos solicitudes completas con el chat_template.jinja publicado de cada modelo (sandbox de Jinja2), con prompt del sistema, herramientas, historial y pregunta, y contamos el resultado. Eso se acerca a lo que tokeniza un servidor, pero un proveedor puede usar otra plantilla, así que tome el usage.prompt_tokens de la API como la referencia final.
  • Texto. Un bot de soporte sintético para una empresa de telecomunicaciones ficticia: un prompt del sistema de 261 palabras, 10 herramientas, 8 ejemplos few-shot, 40 filas de pedidos, un historial de 20 turnos y un párrafo en árabe de 31 palabras. Un prompt es un solo dato. Su ahorro será distinto; el método sí se puede aplicar.

Gemma 4 VL 26B de BroadNet se basa en el modelo de Google, así que su conteo es una estimación. Los demás usan los archivos de los propios modelos.

¿Qué recortes ahorran más tokens?

Texto sin procesar, antes → después, con el porcentaje ahorrado:

Cambio DeepSeek V4.1 Flash GLM 5.3 Qwen3.8 27B Gemma 4 GPT o200k
Prompt del sistema: 261 palabras → 66 palabras 295 → 88 (70%) 294 → 89 (70%) 297 → 95 (68%) 297 → 96 (68%) 293 → 86 (71%)
Few-shot: 8 ejemplos → 3 157 → 69 (56%) 157 → 69 (56%) 156 → 71 (54%) 156 → 71 (54%) 152 → 69 (55%)
40 filas: JSON con sangría → JSON minificado 2,446 → 1,606 (34%) 2,460 → 1,581 (36%) 3,180 → 1,980 (38%) 3,210 → 2,010 (37%) 2,446 → 1,567 (36%)
40 filas: JSON minificado → CSV 1,606 → 948 (41%) 1,581 → 960 (39%) 1,980 → 1,359 (31%) 2,010 → 1,382 (31%) 1,567 → 946 (40%)
10 herramientas: descripciones verbosas → breves 1,224 → 806 (34%) 1,214 → 797 (34%) 1,225 → 806 (34%) 1,252 → 827 (34%) 1,202 → 796 (34%)
10 herramientas verbosas → 3 breves 1,224 → 258 (79%) 1,214 → 257 (79%) 1,225 → 266 (78%) 1,252 → 276 (78%) 1,202 → 255 (79%)
Párrafo en árabe: totalmente vocalizado → sin diacríticos 193 → 74 (62%) 267 → 78 (71%) 151 → 62 (59%) 180 → 64 (64%) 218 → 62 (72%)

Con prosa en inglés, los porcentajes son similares entre tokenizadores, así que un recorte que ayuda en un modelo ayuda en los demás. Dos filas rompen ese patrón. Los datos de pedidos le costaron a Qwen y Gemma entre un 23 y un 46 % más tokens que a DeepSeek y GLM en todos los formatos, porque sus tokenizadores separan los números en dígitos sueltos: 100200 son 6 tokens en Qwen y 2 en DeepSeek. Y los diacríticos árabes afectan a algunos tokenizadores mucho más que a otros.

¿Cómo se ve una solicitud completa?

El texto sin procesar no incluye la plantilla de chat. Renderizada con la plantilla de cada modelo, con la misma pregunta del cliente, la medición del prompt completo fue:

Solicitud DeepSeek V4.1 Flash GLM 5.3 Qwen3.8 27B
A. Prompt del sistema verboso + 10 herramientas verbosas 1,677 1,535 1,797
B. Prompt del sistema recortado + 10 herramientas breves 1,052 913 1,176
C. Prompt del sistema recortado + 3 herramientas breves 574 443 636
D. Prompt del sistema recortado, sin herramientas 136 121 174
C + 20 turnos anteriores completos 2,374 2,243 2,693
C + resumen de 3 líneas + últimos 4 turnos 979 849 1,103

Pasar de A a C recortó aproximadamente entre un 65 y un 71 % de cada solicitud (64.6 % en Qwen y 71.1 % en GLM). La mayor parte vino de las herramientas. Renderizadas con el prompt del sistema verboso, las 10 herramientas verbosas añadían 1,334 tokens en DeepSeek, 1,209 en GLM y 1,421 en Qwen; las 3 herramientas breves de C añadían entre 322 y 462 sobre D. Los esquemas de llamadas a herramientas viajan en cada solicitud, las use el modelo o no.

Con volumen, esto se acumula. En Qwen3.8 27B, pasar de A a C ahorra 1,161 tokens por solicitud. Con 100,000 solicitudes al mes, son unos 116 millones de tokens de entrada, es decir, 116 × $0.175 al mes al precio de entrada estándar.

¿Cómo recortar un prompt del sistema sin romperlo?

Nuestro prompt de 261 palabras y el de 66 palabras contienen las mismas siete reglas. Todos los recortes fueron del mismo tipo:

  1. Elimine la cortesía hacia el modelo. “It is very important that you always remain polite and courteous at all times” (Traducción: «Es muy importante que siempre se mantenga amable y cortés en todo momento») desapareció: la línea del rol ya lo implica.
  2. Una regla por línea. Las viñetas reemplazan frases del tipo “Please make sure that you always…” (Traducción: «Por favor, asegúrese de siempre…»).
  3. Una los duplicados. Tres frases sobre el idioma se convirtieron en “Reply in the customer’s language (Arabic or English), briefly.” (Traducción: «Responda en el idioma del cliente (árabe o inglés), de forma breve».)
  4. Borre lo que repite el comportamiento por defecto. “Remember to always be helpful!” (Traducción: «¡Recuerde ser siempre útil!») no cambia nada.

Luego pruebe. Un prompt más corto que pierde una regla cuesta más de lo que ahorra. Ejecute ambas versiones sobre las mismas 50 a 100 entradas reales y compare, como en evaluar un LLM antes de cambiar.

¿Cuántos ejemplos few-shot necesita?

Menos de los que llevan la mayoría de los prompts. Cada ejemplo few-shot se paga en cada llamada. Conserve los que corrigen un error que el modelo comete sin ellos, como un ejemplo dialectal para un clasificador de árabe, y quite los que ya resuelve bien. Nuestro recorte de 8 a 3 ahorró entre un 54 y un 56 % del bloque de ejemplos. Si 3 bastan para su tarea es una cuestión de precisión, no de tokens, así que compruébelo con su conjunto de prueba.

¿Conviene enviar de otra forma las herramientas, los datos y el historial?

Herramientas. Envíe solo las herramientas que el paso actual puede usar. Una pregunta de facturación necesita get_account, get_bill y create_ticket, no order_esim. Acorte las descripciones a lo que el modelo necesita para elegir y completar la herramienta. La sangría aquí no importa: todas las plantillas que renderizamos vuelven a serializar el arreglo tools con tojson, así que un arreglo de herramientas con formato cuesta lo mismo que uno minificado.

Datos en los mensajes. Los datos que pega en un mensaje se envían tal como los escribió. Como mínimo, minifique el JSON. Para registros planos, CSV o TSV eliminan las claves repetidas: entre un 31 y un 41 % menos tokens que JSON minificado en nuestra prueba. Los datos anidados siguen en JSON. Compruebe que el modelo sigue leyendo bien las columnas.

Historial. Cada turno anterior se reenvía. Reemplazar 16 turnos antiguos por un resumen de tres líneas, conservando literalmente los últimos cuatro turnos, redujo el prompt de Qwen de 2,693 a 1,103 tokens. Un resumen elimina detalles a los que el usuario puede volver a referirse, y reescribirlo cambia el prefijo, lo que rompe la caché. Gestión del contexto en agentes de larga duración explica cuándo compactar.

Diacríticos árabes. La mayor parte del árabe se escribe sin vocales cortas. Si su entrada está totalmente vocalizada, procedente de un diccionario, un libro de texto o una fuente religiosa, eliminar los signos (U+064B a U+0652) recortó nuestro párrafo entre un 59 y un 72 %. Consérvelos cuando la tarea dependa de ellos, como la enseñanza o la poesía. Normalización de texto árabe cubre los demás caracteres que vale la pena normalizar, y tokens por palabra en árabe, la brecha más amplia con el inglés.

¿Dónde entra la caché?

La caché no achica el prompt. Abarata la parte repetida. La guía de caché de OpenAI dice que “the entire rendered prefix” (Traducción: «todo el prefijo renderizado») debe coincidir y aconseja poner primero las instrucciones estables. La página de precios de BroadNet describe la entrada en caché como “usually the repeated start of recent requests, such as a long system prompt” (Traducción: «normalmente el inicio repetido de solicitudes recientes, como un prompt del sistema largo»), sin nada que configurar, y su documentación reporta los aciertos en usage.prompt_tokens_details.cached_tokens.

Así que el orden es: acorte primero y luego estabilice el prefijo acortado. El prompt del sistema y las herramientas primero, idénticos byte a byte en cada llamada; después el historial, solo agregando; el mensaje nuevo al final. En Qwen3.8 27B, la entrada en caché cuesta $0.0435 por 1M frente a $0.175. Estructura del prompt para la caché tiene la distribución y una prueba que demuestra que el prefijo se reutiliza. Los tokens en caché siguen contando para la ventana de contexto.

¿Cómo medir su propio prompt?

Empiece por la factura. Registre usage.prompt_tokens por punto de llamada durante un día y encuentre el mayor. Luego compare versiones localmente con este script, que imprime los conteos de antes y después para dos archivos:

# pip install tokenizers tiktoken huggingface_hub
import json, sys
import tiktoken
from huggingface_hub import hf_hub_download
from tokenizers import Tokenizer

def hf(repo, rev):
    return Tokenizer.from_file(hf_hub_download(repo, "tokenizer.json", revision=rev))

COUNTERS = {
    "Qwen3.8 27B": hf("Qwen/Qwen3.8-27B", "37561816e66b5b9153b1b64c10968c18c1e6f4a0").encode,
    "GPT o200k": tiktoken.get_encoding("o200k_base").encode,
}

def n(enc, text):
    out = enc(text)
    return len(out.ids if hasattr(out, "ids") else out)

def diff(before, after):
    for name, enc in COUNTERS.items():
        a, b = n(enc, before), n(enc, after)
        print(f"{name:12} {a:6} -> {b:6}  saved {a - b} ({100 * (a - b) / a:.0f}%)")

if __name__ == "__main__":
    diff(open(sys.argv[1], encoding="utf-8").read(), open(sys.argv[2], encoding="utf-8").read())

Al ejecutarlo con nuestros dos prompts del sistema imprimió:

Qwen3.8 27B     297 ->     95  saved 202 (68%)
GPT o200k       293 ->     86  saved 207 (71%)

Añada los repositorios de los otros modelos de la lista de Fuentes para comparar los cuatro. Para una verificación rápida en el navegador, el diff de tokens de prompts compara dos versiones lado a lado y el contador de tokens cuenta una. Después de desplegar, confirme el ahorro en usage.prompt_tokens, que incluye la plantilla.

Dónde encaja BroadNet Inference

BroadRouter es el sitio de BroadNet. BroadNet Inference factura los tokens del prompt al precio de entrada de cada modelo y lee de la caché los prefijos repetidos al precio de caché cuando el modelo lo tiene, así que tanto los prompts más cortos como los prefijos estables reducen la factura. Gemma 4 VL 26B tiene un contexto de 32,768 tokens, donde recortar importa para que quepa, además de por el costo. En los planes de DeepSeek V4.1 Flash no hay medidor de tokens, pero el contexto de 1,048,576 tokens sigue aplicando, y un prompt más corto sigue respondiendo antes. Los prompts no se conservan después de cada solicitud.

Preguntas frecuentes

¿Cómo reduzco la cantidad de tokens de mi prompt?

Mida primero: registre usage.prompt_tokens y encuentre la parte más grande. Luego, en el orden de lo que más ahorró en nuestras mediciones: envíe solo las herramientas que el paso necesita, acorte la redacción de las herramientas y del prompt del sistema, envíe las tablas en CSV y no en JSON, deje solo los ejemplos few-shot que cambian los resultados y resuma los turnos antiguos del chat.

¿El JSON con sangría usa más tokens?

Sí. En nuestra prueba, minificar 40 filas de JSON con sangría ahorró entre un 34 y un 38 % de los tokens, según el tokenizador, y enviarlas como CSV ahorró entre un 57 y un 61 %. Dicho al revés, el JSON con sangría usó entre un 52 y un 61 % más tokens que el minificado y entre un 132 y un 159 % más que CSV. Los esquemas de herramientas son una excepción: las plantillas de chat los vuelven a serializar, así que la sangría de su arreglo tools no llega al modelo.

¿Cuántos tokens usan las definiciones de herramientas?

Depende de la redacción y de la plantilla del modelo. Nuestras 10 herramientas con descripciones verbosas añadieron entre 1,200 y 1,400 tokens a un prompt renderizado en DeepSeek V4.1 Flash, GLM 5.3 y Qwen3.8 27B. Tres herramientas con descripciones breves añadieron entre 320 y 460.

¿Los diacríticos árabes aumentan la cantidad de tokens?

Mucho. Un párrafo de 31 palabras en árabe estándar moderno usó entre 62 y 78 tokens sin diacríticos y entre 151 y 267 tokens totalmente vocalizado, en cinco tokenizadores. La mayor parte del texto árabe se escribe sin ellos, así que elimínelos de la entrada salvo que la tarea, como poesía o enseñanza, los necesite.

¿Es mejor el prompt caching que acortar el prompt?

Funcionan juntos. La caché abarata un prefijo repetido, pero sigue contando para la ventana de contexto y sigue teniendo un precio. Acorte primero y luego mantenga el prefijo acortado idéntico byte a byte al principio de cada solicitud para que pueda leerse de la caché.

¿Por qué mi conteo de tokens no coincide con el prompt_tokens de la API?

La API cuenta el prompt renderizado: sus mensajes envueltos en la plantilla de chat, más los esquemas de herramientas en el formato propio de la plantilla. Un tokenizador aplicado a su texto sin procesar no ve eso. Use el tokenizador para comparar versiones y usage.prompt_tokens para la factura.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity