BroadRouter

Cómo configurar max_tokens en modelos de razonamiento: un método

Por el equipo de BroadNet Inference · 6 min de lectura · Publicado

En un modelo de razonamiento, max_tokens limita el razonamiento y la respuesta juntos, así que un límite ajustado puede cortar la respuesta antes de que aparezca texto visible. Mida el total de tokens de completion por tipo de tarea, fije max_tokens en torno al percentil 95 más un 20 %, mantenga el prompt más max_tokens dentro de la ventana de contexto y reintente las respuestas cortadas con el doble de presupuesto, hasta un tope fijo.

Un modelo de razonamiento piensa antes de responder, y en la mayoría de las API compatibles con OpenAI ambas cosas salen de un mismo presupuesto: max_tokens. Si lo configura como para un modelo sin razonamiento, unos cientos de tokens para una respuesta corta, algunas respuestas vuelven vacías con finish_reason: "length". La solución rápida está en por qué un modelo de razonamiento devuelve una respuesta vacía. Este artículo explica el método para obtener un presupuesto fiable: medir, dimensionar a partir de percentiles, respetar la ventana de contexto y gestionar las respuestas que aun así se cortan.

Para saber cuánto cuesta el razonamiento y cómo reducirlo, consulte tokens de razonamiento: por qué paga más salida de la que ve.

¿Por qué se agota el presupuesto antes de la respuesta?

El modelo genera en orden: primero su razonamiento, luego la respuesta visible. Cada token de ambos cuenta para max_tokens. La documentación de BroadNet lo dice para DeepSeek V4.1 Flash, GLM 5.3 y Qwen3.8 27B: “the reasoning counts toward max_tokens” (Traducción: el razonamiento cuenta para max_tokens), y con un límite pequeño “the answer comes back empty” (Traducción: la respuesta vuelve vacía). La referencia de Chat Completions de OpenAI define max_completion_tokens de la misma manera, como un límite superior “including visible output tokens and reasoning tokens” (Traducción: que incluye los tokens de salida visibles y los tokens de razonamiento).

Así que la pregunta no es “¿cuánto mide mi respuesta?”, sino “¿cuánto miden razonamiento y respuesta juntos, en esta tarea y con este esfuerzo?”. Y eso varía más de lo que se suele pensar. La guía de OpenAI dice que sus modelos pueden generar “anywhere from a few hundred to tens of thousands of reasoning tokens” (Traducción: desde unos cientos hasta decenas de miles de tokens de razonamiento), según el problema.

¿Un max_tokens mayor cuesta más?

No. Este es el motivo más común por el que los presupuestos se fijan demasiado ajustados. max_tokens es un techo. Se le factura por los tokens realmente generados. Una respuesta que necesita 1,800 tokens cuesta lo mismo con un techo de 4,000 que de 40,000.

Lo que sí cuesta un techo ajustado:

Techo frente a necesidad Lo que paga Lo que obtiene
Techo por encima de la necesidad Los tokens generados La respuesta
Techo por debajo de la necesidad El techo completo, todo en razonamiento Nada utilizable, más un reintento

Tome un ejemplo ilustrativo. Suponga que una cuarta parte de sus llamadas necesita más de 1,000 tokens. Con max_tokens=1000, cada una de esas llamadas factura 1,000 tokens de salida de razonamiento, no devuelve nada y se reintenta. Eso suma, en promedio, 250 tokens de salida desperdiciados por llamada en el conjunto de todas las llamadas, antes de contar los propios reintentos, más la latencia de una segunda solicitud. Con el techo en 4,000 no se desperdicia nada. En Qwen3.8 27B, la salida cuesta $2.17 por 1M de tokens, así que el desperdicio se acumula con el volumen.

El riesgo real de un techo alto es una respuesta desbocada: un modelo que entra en bucle o razona en exceso y genera mucho más de lo necesario. Un tope fijo acota ese riesgo. Elija el tope a partir de datos, como se explica a continuación.

¿Cómo se mide lo que necesita una tarea?

Ejecute prompts reales de un solo tipo de tarea con un techo generoso y registre los tokens de completion y la parte de razonamiento. Cuando el modelo lo reporta, usage.completion_tokens_details.reasoning_tokens da la parte de razonamiento; la documentación de BroadNet incluye ese campo.

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
MODEL = "broadnet/qwen3.8-27b"

def measure(prompts, ceiling=16_000, **kw):
    """Run real prompts with a generous ceiling and return per-call token counts."""
    rows = []
    for p in prompts:
        r = client.chat.completions.create(model=MODEL, max_tokens=ceiling,
                                           messages=[{"role": "user", "content": p}], **kw)
        u, d = r.usage, r.usage.completion_tokens_details
        reasoning = (d.reasoning_tokens or 0) if d else 0
        rows.append({"reasoning": reasoning, "answer": u.completion_tokens - reasoning,
                     "finish": r.choices[0].finish_reason})
    return rows

def pct(values, q):
    values = sorted(values)
    return values[min(len(values) - 1, int(q * len(values)))]

def recommend(rows, margin=1.2):
    total = [r["reasoning"] + r["answer"] for r in rows]
    return {"p50": pct(total, 0.5), "p95": pct(total, 0.95), "max": max(total),
            "max_tokens": int(pct(total, 0.95) * margin),
            "cut_off": sum(r["finish"] == "length" for r in rows)}

# print(recommend(measure(my_prompts)))                       # default effort
# print(recommend(measure(my_prompts, reasoning_effort="low")))

Reglas para obtener un número fiable:

  1. Un tipo de tarea por ejecución. La clasificación, la extracción, la revisión de código y la planificación tienen distribuciones muy distintas. Un único max_tokens global o desperdicia dinero en reintentos o deja pasar respuestas desbocadas.
  2. 50 o más prompts reales. El percentil 95 de diez muestras es simplemente la mayor.
  3. Ejecútelo con cada esfuerzo que use. reasoning_effort="low" cambia la distribución. BroadNet documenta low; pruebe otros valores antes de depender de ellos.
  4. Si cut_off no es cero, suba el techo y vuelva a ejecutar. Una muestra cortada oculta su longitud real.
  5. Vuelva a medir cuando cambie el modelo o el prompt. Una nueva versión del modelo puede razonar más o menos.

Después, fije max_tokens por tarea a partir de recommend(). El percentil 95 más un 20 % deja la mayoría de las llamadas muy por debajo del techo y solo envía la rara llamada larga a la ruta de reintento que se describe más abajo. La herramienta gratuita de presupuesto de tokens de razonamiento hace este cálculo en su navegador cuando tenga sus cifras.

¿Cómo limita la ventana de contexto el presupuesto?

La ventana de contexto contiene el prompt y la respuesta juntos. El feed de precios de BroadNet define context_length como “the most tokens one request can hold, prompt and answer together” (Traducción: el máximo de tokens que puede contener una solicitud, prompt y respuesta juntos). Por lo tanto:

max_tokens ≤ longitud de contexto − tokens del prompt

Modelo Contexto Espacio para max_tokens con un prompt de 200,000 tokens
GLM 5.3 1,048,576 848,576
DeepSeek V4.1 Flash 1,048,576 848,576
Qwen3.8 27B 262,144 62,144

Esto importa en el trabajo con contexto largo. Un agente cuyo historial ha crecido hasta 250,000 tokens en Qwen3.8 27B solo tiene unos 12,000 tokens libres para razonar y responder. Las tareas de contexto largo además tienden a requerir más razonamiento, así que compruebe el espacio restante en el momento de la llamada, no una sola vez al iniciar. Ventana de contexto y la calculadora de ventana de contexto cubren el ajuste.

¿Qué hacer cuando una respuesta sigue cortándose?

Compruebe finish_reason en cada llamada. Si es length, la respuesta falta o está incompleta, aunque content tenga algo de texto. No la procese como si estuviera completa; un objeto JSON truncado es una fuente habitual de errores posteriores (salida estructurada).

Reintente con el doble de presupuesto, dentro del espacio que permita el contexto, hasta un tope fijo:

import json, urllib.request

FEED = json.load(urllib.request.urlopen("https://inference.broadnet.ai/pricing.json"))
CONTEXT = {m["id"]: m.get("context_length") for m in FEED["models"]}

def ask(model, messages, budget=4_000, hard_cap=32_000, **kw):
    """Retry a cut-off reply with a doubled budget, never past the cap or the context window."""
    while True:
        r = client.chat.completions.create(model=model, messages=messages,
                                           max_tokens=budget, **kw)
        if r.choices[0].finish_reason != "length":
            return r
        room = CONTEXT[model] - r.usage.prompt_tokens        # context holds prompt + answer
        nxt = min(budget * 2, hard_cap, room)
        if nxt <= budget:
            raise RuntimeError(f"still cut off at max_tokens={budget}")
        print(f"cut off at {budget}, retrying with {nxt}")
        budget = nxt

Dos alternativas a duplicar, según la tarea:

  • Reintente con reasoning_effort="low" y el mismo presupuesto. En tareas sencillas el modelo suele razonar en exceso, y menos esfuerzo lo resuelve sin un techo mayor.
  • Divida la tarea. Si una respuesta sigue chocando con un tope alto, normalmente la solicitud pide demasiado de una vez.

Registre cada corte con el tipo de tarea. Una tasa creciente significa que cambió el prompt, el modelo o los datos de entrada, y que hay que volver a medir el presupuesto. Los reintentos son nuevas inferencias y se facturan de nuevo, así que mantenga acotado el número de intentos, como en agentes de larga duración: timeouts y reintentos.

¿Cómo cambia el panorama con streaming?

Con stream=True, el razonamiento ocurre antes del primer token visible, así que un modelo de razonamiento puede parecer detenido al principio. En una interfaz de chat, muestre un estado de “pensando” hasta que llegue el contenido y dimensione los timeouts del cliente para el tiempo de razonamiento, no solo para la respuesta.

Algunos servidores también transmiten el propio texto del razonamiento, en un campo aparte. El nombre no es estándar: la API de DeepSeek usa reasoning_content, y vLLM renombró su campo de reasoning_content a reasoning, advirtiendo que el código cliente antiguo “could silently read an empty” (Traducción: podría leer en silencio un campo vacío). La documentación de BroadNet no documenta un campo de texto de razonamiento, así que no construya funciones sobre él sin revisar la respuesta sin procesar de su modelo. Si lo lee, hágalo de forma defensiva:

for chunk in stream:
    if chunk.choices:
        delta = chunk.choices[0].delta
        thinking = getattr(delta, "reasoning", None) or getattr(delta, "reasoning_content", None)
        # log or display `thinking` only if your provider actually sends it
        if delta.content:
            print(delta.content, end="")
    elif chunk.usage:                                  # last chunk, with include_usage
        print("\nreasoning tokens:", getattr(chunk.usage.completion_tokens_details, "reasoning_tokens", None))

El usage del último fragmento requiere stream_options={"include_usage": True}, que BroadNet documenta. Más sobre streams en la guía de streaming y en SSE explicado.

¿Qué nombre de parámetro debe enviar?

API Parámetro Incluye razonamiento
OpenAI Chat Completions max_completion_tokens (max_tokens obsoleto) Sí
OpenAI Responses max_output_tokens Sí
BroadNet Inference (Chat Completions) max_tokens, según su documentación Sí
Servidores vLLM max_tokens, más thinking_token_budget opcional Sí

Al mover código entre proveedores, envíe el nombre que documenta el proveedor y confirme con una llamada de prueba que el límite se aplica. Un límite ignorado en silencio parece correcto hasta que llega una respuesta desbocada. La lista de verificación de migración cubre los demás parámetros que cambian.

Dónde encaja BroadNet Inference

Los tres modelos de razonamiento de BroadNet reportan los tokens de razonamiento en usage cuando el modelo los proporciona, así que la medición anterior funciona tal como está escrita. DeepSeek V4.1 Flash y GLM 5.3 dan el mayor margen, con 1,048,576 tokens de contexto. Qwen3.8 27B tiene 262,144. Si una tarea no necesita razonamiento, Gemma 4 VL 26B no figura como modelo de razonamiento y evita la cuestión del presupuesto por completo. En un plan de DeepSeek V4.1 Flash de tarifa plana, los tokens de razonamiento no tienen cargo por token, pero las respuestas cortadas siguen costando tiempo, así que el mismo método de presupuesto aplica. BroadNet no documenta un límite de razonamiento aparte; si lo necesita, use un proveedor o un servidor autoalojado que lo ofrezca.

Preguntas frecuentes

¿Por qué mi modelo de razonamiento devuelve una respuesta vacía?

El modelo gastó todo el presupuesto de max_tokens en razonamiento oculto antes de escribir la respuesta. finish_reason es entonces "length". Suba max_tokens, baje reasoning_effort o ambas cosas. Desde este artículo se enlaza una guía breve con la solución rápida.

¿Qué max_tokens debo configurar para un modelo de razonamiento?

Mida primero. Ejecute 50 o más prompts reales con un techo generoso, tome el percentil 95 de completion_tokens para esa tarea y añada alrededor de un 20 %. La documentación de BroadNet da 1,000 tokens o más como mínimo; OpenAI sugiere reservar 25,000 al empezar con sus modelos.

¿Un max_tokens más alto cuesta más?

No por sí mismo. Se le factura por los tokens que genera el modelo, no por el techo. Un techo más alto solo cuesta más cuando la respuesta se habría cortado de otro modo, y en ese caso la respuesta cortada le habría costado un reintento de todos modos.

¿max_completion_tokens es lo mismo que max_tokens?

En OpenAI, max_completion_tokens sustituye al max_tokens obsoleto e incluye explícitamente los tokens de razonamiento. Muchos proveedores compatibles con OpenAI documentan max_tokens en su lugar. La documentación de BroadNet usa max_tokens e indica que el razonamiento cuenta para ese límite.

¿Puedo limitar el razonamiento por separado de la respuesta?

Solo si el servidor lo admite. vLLM tiene el parámetro thinking_token_budget, y algunos proveedores tienen el suyo. BroadNet documenta reasoning_effort en low, no un límite de razonamiento aparte, así que presupueste ambos juntos.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity