Necesita contar los tokens antes de enviar una petición por tres motivos: para no salirse de la ventana de contexto, para elegir un max_tokens razonable y para estimar el costo. Los recuentos exactos solo salen del tokenizador del propio modelo; las buenas estimaciones salen de la calibración. Este artículo muestra ambas cosas con mediciones reales.
¿Por qué cambia el número de tokens entre modelos?
Un tokenizador divide el texto en piezas de un vocabulario fijo, y cada familia de modelos entrena el suyo. Un vocabulario más grande, o entrenado con más texto de un idioma concreto, produce menos tokens para ese idioma. Por eso «¿cuántos tokens tiene este prompt?» tiene una respuesta distinta para cada modelo.
Medimos el mismo mensaje breve de atención al cliente, traducido a cuatro idiomas, además de una pequeña función de Python y un objeto JSON de factura. Los recuentos de OpenAI salen de tiktoken (cl100k_base, de la época de GPT-4, y o200k_base, de la época de GPT-4o). Los de los modelos abiertos salen de los archivos de tokenizador que cada familia publica en Hugging Face, contados sin la plantilla de chat, el 14 de noviembre de 2026.
| Texto (mismo significado) | Caracteres | cl100k_base | o200k_base | DeepSeek V4.1 Flash | GLM 5.3 | Qwen3.8 27B | Gemma 4 |
|---|---|---|---|---|---|---|---|
| Inglés, 31 palabras | 173 | 37 | 37 | 37 | 38 | 39 | 39 |
| Español | 160 | 47 | 40 | 50 | 45 | 43 | 42 |
| Árabe | 142 | 102 | 46 | 55 | 58 | 48 | 49 |
| Chino | 54 | 51 | 37 | 34 | 35 | 36 | 38 |
| Función de Python | 94 | 33 | 33 | 35 | 33 | 35 | 38 |
| JSON de factura | 140 | 59 | 60 | 63 | 60 | 72 | 72 |
Hay una sola muestra por fila, así que tome las cifras como ilustración, no como benchmark. Aun así, se sostienen tres lecciones. La generación del tokenizador importa: el texto árabe se redujo a menos de la mitad de cl100k_base a o200k_base. Los modelos abiertos también difieren entre sí: el mismo texto árabe fue de 48 a 58 tokens, y el JSON de 60 a 72. Y el contenido estructurado es denso en tokens en todas partes: el JSON rondó los 2 caracteres por token en todos los tokenizadores.
Puede repetirlo con su propio texto en el contador de tokens gratuito, o con los contadores por familia para DeepSeek, Qwen y GPT. Para ver cuánto ahorra un cambio en un prompt, compare ambas versiones en el comparador de tokens de prompts. Por qué el árabe en concreto cuesta más tokens, medido con textos más largos, se explica en tokens por palabra en árabe frente a inglés.
¿Cómo se cuentan los tokens con exactitud?
Si el tokenizador del modelo es público, cárguelo y cuente en local. Para los modelos de OpenAI:
import tiktoken
enc = tiktoken.encoding_for_model("gpt-4o")
n = len(enc.encode(text))
En las familias de pesos abiertos, el tokenizador suele publicarse junto al modelo en Hugging Face y se carga con AutoTokenizer.from_pretrained(...). Dos salvedades: la plantilla de chat añade tokens para los roles y separadores, y la versión desplegada por un proveedor de API puede diferir de los archivos públicos. La referencia de la API de BroadNet no documenta un endpoint para contar tokens ni el tokenizador de cada modelo, así que el tokenizador público da una estimación cercana y la cifra exacta es usage.prompt_tokens después de la llamada.
¿Cómo se estiman los tokens si el tokenizador no es público?
Calibre una vez por modelo y luego estime en local:
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
def prompt_tokens(model, text):
r = client.chat.completions.create(
model=model, max_tokens=1000, # room for reasoning on thinking models
messages=[{"role": "user", "content": text}],
)
return r.usage.prompt_tokens
def measure(model, samples: dict[str, list[str]]):
base = prompt_tokens(model, "hi") # chat-template overhead plus one short word
ratios = {}
for kind, texts in samples.items():
chars = toks = 0
for t in texts:
chars += len(t)
toks += prompt_tokens(model, t) - base
ratios[kind] = chars / toks
return ratios # e.g. {"english": 4.1, "arabic": 2.9, "json": 2.3}
def estimate(text, kind, ratios, overhead=10):
return int(len(text) / ratios[kind]) + overhead
Use 20 muestras reales o más por tipo de contenido (sus prompts reales, no lorem ipsum). La petición base de una sola palabra descuenta la sobrecarga fija de la plantilla de chat, que estimate vuelve a sumar como overhead; ajústela a la base que haya medido. Calibre con el modelo más barato de BroadNet solo si es el que va a llamar: las proporciones de Gemma 4 VL 26B no se trasladan a DeepSeek V4.1 Flash. Las imágenes también se facturan como tokens de entrada, y las más grandes usan más, así que calíbrelas aparte según la resolución.
¿Qué márgenes usar para max_tokens y el contexto?
La ventana cubre el prompt y la salida. En los modelos de razonamiento, la salida incluye el pensamiento oculto, que se informa como tokens de razonamiento. Presupueste así:
- Estimación del prompt = recuento calibrado × 1.15 (un margen de seguridad del 15 por ciento).
- Presupuesto de respuesta = la respuesta más larga que acepte.
- Presupuesto de razonamiento = en los modelos que piensan, al menos 1,000 tokens; la documentación de BroadNet recomienda al menos 1,000 o
reasoning_effort: "low", porque un límite pequeño puede devolver una respuesta vacía. - max_tokens = presupuesto de respuesta + presupuesto de razonamiento.
- Comprobación: estimación del prompt + max_tokens ≤ ventana de contexto. Si no se cumple, recorte el prompt, no la respuesta.
Ventanas de contexto en BroadNet Inference, según el archivo de precios publicado:
| Modelo | Ventana de contexto | Techo práctico del prompt con 16K de salida y 15% de margen |
|---|---|---|
| DeepSeek V4.1 Flash | 1,048,576 | unos 897,000 |
| GLM 5.3 | 1,048,576 | unos 897,000 |
| Qwen3.8 27B | 262,144 | unos 213,000 |
| Gemma 4 VL 26B | 32,768 | unos 14,000 |
La columna del techo es (ventana − 16,384) ÷ 1.15, redondeado hacia abajo. Cambie 16,384 por su propio max_tokens.
¿Qué falla en las estimaciones de tokens?
- Contar palabras en lugar de tokens. La regla de 0.75 palabras por token es para el inglés. Nuestra muestra árabe de 29 palabras ocupó entre 46 y 102 tokens según el tokenizador.
- Olvidar las herramientas y el prompt de sistema. Los esquemas de herramientas son JSON, que es denso en tokens. Cuéntelos como parte del prompt.
- Suponer un truncado silencioso. Algunas herramientas descartan mensajes antiguos sin avisarle. BroadNet afirma que no recorta su contexto, así que compruebe el tamaño antes de enviar en lugar de confiar en que el servidor lo corte. La calculadora de ventana de contexto hace la comprobación por usted.
- Ignorar el crecimiento del historial. En un chat o un bucle de agente, el prompt crece en cada turno. Vuelva a comprobar el presupuesto en cada llamada, no una vez por sesión. Un historial estable además se cachea mejor; vea estructura del prompt para la caché.
Si trabaja en árabe, el tokenizador es un motivo más para probar los modelos con su propio texto; cómo elegir un LLM para árabe cubre el resto. Para convertir recuentos de tokens en una factura mensual, vea cómo estimar el costo de una API de LLM antes del lanzamiento.
Dónde encaja BroadNet Inference
BroadNet Inference devuelve en cada respuesta prompt_tokens, completion_tokens y, cuando el modelo los informa, los recuentos de tokens en caché y de razonamiento: todo lo que necesita para calibrar. No publica un endpoint de recuento ni tokenizadores por modelo, así que los recuentos previos al envío son estimaciones. El trabajo con contexto largo en los modelos de 1M de tokens se trata en la guía de la ventana de contexto, y los precios por 1M de tokens están en la página de precios.
