Las ventanas de contexto han pasado de unos pocos miles de tokens a más de un millón. DeepSeek V4.1 Flash y GLM 5.3 en BroadNet Inference aceptan 1,048,576 tokens por petición, prompt y respuesta juntos. Eso cambia cómo puede construir, pero no hace que todos los prompts sean mejores.
¿Qué cabe en un millón de tokens?
Como referencia aproximada: 1,000 palabras de prosa en inglés dieron unos 1,290 tokens, de media entre cinco tokenizadores, en nuestro conjunto de datos de eficiencia de tokenizadores, así que un millón de tokens equivale aproximadamente a 810,000 palabras de prosa sencilla:
| Contenido | Aproximadamente |
|---|---|
| Una base de código mediana (decenas de miles de líneas) | Cabe, con espacio de sobra |
| Varios contratos largos con sus anexos | Cabe |
| Un día de transcripciones de reuniones | Cabe |
| Un monorepo grande con sus dependencias | A menudo no; seleccione directorios |
El número de tokens depende del idioma y del contenido. El código y el texto en árabe suelen usar más tokens por carácter que la prosa en inglés. Mida con el bloque usage de una petición real en lugar de estimar, o compruebe una muestra en la calculadora de ventana de contexto.
¿Qué modelos de BroadNet tienen una ventana de contexto de 1M de tokens?
| Modelo | Ventana de contexto | Entrada | Salida | Imágenes |
|---|---|---|---|---|
| DeepSeek V4.1 Flash | 1,048,576 | $0.175 | $0.52 | Sí |
| GLM 5.3 | 1,048,576 | $0.78 | $3.46 | No |
| Qwen3.8 27B | 262,144 | $0.175 | $2.17 | Sí |
| BroadNet Gemma 4 VL 26B | 32,768 | $0.10 | $0.22 | Sí |
Los precios son por 1M de tokens. GLM 5.3 añade tool calling y salida estructurada sobre la misma ventana de 1M.
¿Cuándo merece la pena una ventana de 1M de tokens?
- Razonar entre archivos. «¿Por qué falla esta prueba?» suele depender de cinco archivos que a nadie se le ocurriría recuperar juntos.
- Revisar documentos completos. Encontrar conflictos entre la cláusula 4 y el anexo B exige tener ambos a la vista.
- Análisis puntuales. Para una pregunta que hará una sola vez, montar un índice de recuperación cuesta más esfuerzo del que ahorra.
- Agentes. Un subagente que puede leer el módulo entero hace menos suposiciones erróneas. Vea ejecutar agentes en paralelo.
¿Cuándo sigue siendo mejor la recuperación?
La recuperación gana en muchas búsquedas pequeñas sobre una biblioteca mucho mayor que cualquier ventana, en contenido que cambia cada minuto y en respuestas interactivas rápidas, donde leer antes un prompt enorme añade retraso. Muchos sistemas en producción hacen ambas cosas: recuperan los 200,000 tokens más relevantes y dejan que un modelo de contexto largo razone sobre todos ellos. La decisión completa, con costo por consulta, latencia y recall lado a lado, está en contexto largo frente a RAG.
¿El modelo usa de verdad toda la ventana?
No de forma uniforme. La investigación coincide en esto:
- El artículo Lost in the Middle (Liu et al.) observó que el rendimiento “is often highest when relevant information occurs at the beginning or end of the input context” (Traducción: «suele ser máximo cuando la información relevante aparece al principio o al final del contexto de entrada»).
- El informe Context Rot de Chroma probó 18 modelos y observó que “performance grows increasingly unreliable as input length grows” (Traducción: «el rendimiento se vuelve cada vez menos fiable a medida que crece la longitud de la entrada»), incluso en tareas sencillas.
Estos estudios no probaron los modelos en BroadNet, así que tómelos como una advertencia, no como una medición. La regla práctica: que una ventana acepte un millón de tokens no significa que todos los tokens reciban la misma atención. Ponga el material más importante cerca del principio o del final, y pruebe el recall con sus propios documentos.
¿Cuánto cuesta un prompt de un millón de tokens?
Con una clave de pago por uso, DeepSeek V4.1 Flash factura $0.175 por 1M de tokens de entrada y $0.0055 por 1M de tokens de entrada en caché. Un prompt completo de un millón de tokens cuesta unos $0.175 la primera vez, y mucho menos en las llamadas repetidas cuando el prefijo está en caché. Cómo subir su tasa de caché.
La calculadora de caché de prompts muestra cuánto ahorra un acierto de caché con sus propios tamaños de prompt. Un ejemplo práctico: diez preguntas sobre el mismo conjunto de contratos de 800,000 tokens. Sin caché, son 8M de tokens a $0.175 por 1M. Si los documentos van primero y no cambian, la primera llamada lee 800,000 tokens nuevos y las nueve siguientes pueden leer la mayoría desde la caché a $0.0055 por 1M. Solo cambian la pregunta y la respuesta.
En un plan ilimitado, el tamaño del prompt no cambia la factura: Luna Llena (Full Moon) cuesta $60 al mes por sesión, sin contador de tokens. Por eso los agentes de contexto largo son un motivo habitual para elegir un plan de tarifa plana en lugar de pagar por token.
¿Cuánto espacio dejar para la respuesta?
La ventana cubre el prompt y la salida, y en los modelos de razonamiento la salida incluye el pensamiento. Si envía 1,040,000 tokens de prompt, solo quedan unos 8,000 para el razonamiento y la respuesta. Mantenga un margen, fije max_tokens de forma explícita y lea por qué los modelos de razonamiento pueden devolver una respuesta vacía.
Cómo preparar una base de código para un prompt de 1M de tokens
- Excluya lo que el modelo no necesita. Los lockfiles, la salida de compilación, las dependencias incluidas en el repositorio, las imágenes y el código generado consumen tokens y añaden ruido.
- Cuente antes de enviar. Envíe una muestra pequeña, lea
prompt_tokensen usage y escale. - Ordene por estabilidad. Primero los archivos que casi no cambian, al final los que está editando y la pregunta al final de todo. Así el prefijo sigue siendo cacheable.
- Etiquete cada archivo. Envuelva los archivos con marcadores claros como
=== path/to/file.py ===para que el modelo pueda citarlos. - Pida citas. «Cite la línea en la que se basa» reduce los errores dichos con aplomo sobre entradas enormes.
- Mida. Registre los tokens del prompt, los tokens en caché y el tiempo hasta el primer token de cada petición. El streaming muestra el primer token en cuanto llega.
Dónde encaja BroadNet Inference
Dos de sus modelos de chat aceptan 1,048,576 tokens por petición, y BroadNet no recorta su contexto. Con una clave por token, la caché mantiene asequibles los prompts largos repetidos; en una sesión de plan, el tamaño del prompt no afecta a la factura. Si su corpus es mucho mayor que un millón de tokens o cambia cada minuto, seguirá necesitando recuperación, y ningún tamaño de ventana cambia eso.

