BroadRouter
Comenzar

Evalúe los modelos de BroadNet con promptfoo

Actualizado

En promptfooconfig.yaml, agregue un proveedor con id openai:chat:broadnet/glm-5.3 y un config que defina apiBaseUrl como https://inference.broadnet.ai/v1 y apiKeyEnvar como BROADNET_API_KEY. Use el prefijo openai:chat para que promptfoo llame siempre a Chat Completions, el endpoint que ofrece BroadNet. Defina max_tokens usted mismo, porque el límite de salida por defecto de promptfoo es de 1,024 tokens.

promptfoo es una CLI de código abierto para probar prompts, comparar modelos y hacer red teaming de aplicaciones con LLM. Su proveedor de OpenAI funciona con gateways compatibles con OpenAI mediante apiBaseUrl. BroadNet Inference ofrece chat completions en https://inference.broadnet.ai/v1, así que puede comparar los modelos de BroadNet entre sí, o con los modelos que ya usa, desde un solo archivo YAML. BroadRouter es el sitio de la propia BroadNet; esta guía sigue la documentación del proveedor de OpenAI de promptfoo según la versión 0.125.1.

Configuración

npm install -g promptfoo     # or: npx promptfoo@latest
export BROADNET_API_KEY='your-broadnet-key'

promptfooconfig.yaml

description: BroadNet model comparison
prompts:
  - 'What is the capital of Saudi Arabia? Answer in one sentence.'
providers:
  - id: openai:chat:broadnet/glm-5.3
    label: GLM 5.3
    config:
      apiBaseUrl: https://inference.broadnet.ai/v1
      apiKeyEnvar: BROADNET_API_KEY
      max_tokens: 4000
  - id: openai:chat:broadnet/deepseek-v4.1-flash
    label: DeepSeek V4.1 Flash
    config:
      apiBaseUrl: https://inference.broadnet.ai/v1
      apiKeyEnvar: BROADNET_API_KEY
      omitDefaults: true
tests:
  - assert:
      - type: icontains
        value: Riyadh

Las configuraciones reales suelen poner las entradas de prueba en tests.vars y referenciarlas en el prompt con la sintaxis de plantillas de doble llave de promptfoo. Aquí dejamos este ejemplo fijo para que funcione tal como está.

Ejecútelo:

promptfoo eval
promptfoo view   # side-by-side results in the browser

Qué hace cada ajuste

  • openai:chat: más el ID de BroadNet. Todo lo que va después de openai:chat: es el ID del modelo que se envía, así que conserve el prefijo broadnet/. La parte chat explícita fija el endpoint de Chat Completions; BroadNet no ofrece la Responses API.
  • apiBaseUrl es la base URL con /v1, pero sin /chat/completions. promptfoo agrega la ruta.
  • apiKeyEnvar indica la variable que contiene su clave de BroadNet. promptfoo no recurre a OPENAI_API_KEY si falta.
  • max_tokens. Los valores por defecto de promptfoo para solicitudes sin razonamiento son temperature: 0 y un límite de 1,024 tokens. Los modelos DeepSeek, GLM y Qwen de BroadNet razonan antes de responder, así que 1,024 puede producir respuestas vacías. Defina un límite mayor, como en el primer proveedor.
  • omitDefaults: true elimina la temperatura y el límite por defecto de promptfoo, como en el segundo proveedor. La solicitud ya no lleva ningún límite de salida de promptfoo.

Aserciones calificadas por un modelo

La configuración del proveedor no se aplica a graders como llm-rubric. Para calificar con un modelo de BroadNet, agréguelo de nuevo para el grader:

defaultTest:
  options:
    provider:
      id: openai:chat:broadnet/glm-5.3
      config:
        apiBaseUrl: https://inference.broadnet.ai/v1
        apiKeyEnvar: BROADNET_API_KEY
        max_tokens: 4000

Qué modelos comparar

Modelo Útil para
broadnet/glm-5.3 Pruebas de llamadas a herramientas y salida estructurada
broadnet/qwen3.8-27b Pruebas con imágenes, texto en árabe o herramientas
broadnet/deepseek-v4.1-flash Pruebas de contexto largo y sensibles al costo
broadnet/gemma-4-26b-a4b Pruebas gratuitas con el crédito inicial de $5

La documentación de BroadNet indica herramientas y salida estructurada solo para GLM 5.3 y Qwen3.8 27B. Precios de todos los modelos.

Cómo lo probamos

El 2026-11-15 instalamos promptfoo 0.125.1 con Node 24 y ejecutamos promptfoo eval con una configuración como la de arriba, apuntando a un servidor mock local que habla el formato de chat completions de BroadNet. Las pruebas pasaron. Las solicitudes registradas fueron a /v1/chat/completions, con el ID de modelo de BroadNet sin cambios y una clave Bearer. El primer proveedor envió max_tokens: 4000 y temperature: 0; el proveedor con omitDefaults: true envió solo el modelo y los mensajes. Sin BROADNET_API_KEY definida, promptfoo se detuvo con “Missing BROADNET_API_KEY”. No probamos los graders y no teníamos una clave de BroadNet, así que no probamos la salida real de los modelos.

Solución de problemas

  • Salidas vacías o cortadas. Aumente max_tokens. Por qué las respuestas llegan vacías.
  • 404. Compruebe que apiBaseUrl termine en /v1 y que el ID del modelo tras openai:chat: conserve el prefijo broadnet/. Los modelos de pago requieren una recarga; el crédito de $5 cubre solo broadnet/gemma-4-26b-a4b y los dos modelos Transcribe.
  • 429 en evals grandes. promptfoo ejecutó nuestra eval con una concurrencia de 4. Una clave de pago por uso permite 30 solicitudes por minuto y 4 en curso, así que redúzcala con promptfoo eval -j 1 para conjuntos de pruebas grandes. Consulte errores y reintentos.

Preguntas frecuentes

¿Debo usar openai:chat u openai como prefijo del proveedor en promptfoo?

openai:chat. Con openai:chat:broadnet/glm-5.3, promptfoo llama a /v1/chat/completions, que es lo que ofrece BroadNet. La documentación de promptfoo dice que un nombre de modelo no reconocido tras el prefijo openai solo también recurre a Chat Completions, pero el prefijo chat explícito no depende de esa regla.

¿Por qué se cortan las respuestas de BroadNet en promptfoo?

promptfoo fija por defecto un límite de salida de 1,024 tokens para solicitudes sin razonamiento, y los modelos DeepSeek, GLM y Qwen de BroadNet gastan parte del presupuesto de salida en razonar. Defina max_tokens en el config del proveedor o ponga omitDefaults en true.

¿apiKeyEnvar recurre a OPENAI_API_KEY?

No. La documentación de promptfoo dice que, si falta la variable indicada, no recurre a OPENAI_API_KEY. En nuestra prueba se detuvo con "Missing BROADNET_API_KEY".

¿Puede un modelo de BroadNet calificar aserciones llm-rubric?

Sí, pero la documentación de promptfoo indica que la configuración del proveedor no se aplica a los graders. Configure el grader aparte en defaultTest.options.provider, con el mismo id y config.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity