BroadRouter
Começar

Avaliar os modelos da BroadNet com o promptfoo

Atualizado em

No promptfooconfig.yaml, adicione um provider com id openai:chat:broadnet/glm-5.3 e uma config que define apiBaseUrl como https://inference.broadnet.ai/v1 e apiKeyEnvar como BROADNET_API_KEY. Use o prefixo openai:chat para que o promptfoo sempre chame Chat Completions, o endpoint que a BroadNet serve. Defina max_tokens você mesmo, porque o limite de saída padrão do promptfoo é de 1.024 tokens.

O promptfoo é uma CLI open source para testar prompts, comparar modelos e fazer red teaming de apps com LLM. O provider OpenAI dele funciona com gateways compatíveis com a OpenAI por meio de apiBaseUrl. A BroadNet Inference serve chat completions em https://inference.broadnet.ai/v1, então você pode comparar os modelos da BroadNet entre si, ou com modelos que já usa, a partir de um único arquivo YAML. O BroadRouter é o site da própria BroadNet; este guia segue a documentação do provider OpenAI do promptfoo na release 0.125.1.

Instalação

npm install -g promptfoo     # or: npx promptfoo@latest
export BROADNET_API_KEY='your-broadnet-key'

promptfooconfig.yaml

description: BroadNet model comparison
prompts:
  - 'What is the capital of Saudi Arabia? Answer in one sentence.'
providers:
  - id: openai:chat:broadnet/glm-5.3
    label: GLM 5.3
    config:
      apiBaseUrl: https://inference.broadnet.ai/v1
      apiKeyEnvar: BROADNET_API_KEY
      max_tokens: 4000
  - id: openai:chat:broadnet/deepseek-v4.1-flash
    label: DeepSeek V4.1 Flash
    config:
      apiBaseUrl: https://inference.broadnet.ai/v1
      apiKeyEnvar: BROADNET_API_KEY
      omitDefaults: true
tests:
  - assert:
      - type: icontains
        value: Riyadh

Configurações reais costumam colocar as entradas dos testes em tests.vars e referenciá-las no prompt com a sintaxe de template de chaves duplas do promptfoo. Deixamos esta fixa para que rode do jeito que está.

Rode:

promptfoo eval
promptfoo view   # side-by-side results in the browser

O que cada configuração faz

  • openai:chat: mais o ID da BroadNet. Tudo depois de openai:chat: é o ID do modelo enviado, então mantenha o prefixo broadnet/. A parte chat explícita fixa o endpoint de Chat Completions; a BroadNet não serve a Responses API.
  • apiBaseUrl é a base URL com /v1, mas sem /chat/completions. O promptfoo acrescenta o caminho.
  • apiKeyEnvar indica a variável que guarda a sua chave da BroadNet. Se ela estiver faltando, o promptfoo não recorre a OPENAI_API_KEY.
  • max_tokens. Para requisições sem raciocínio, os padrões do promptfoo são temperature: 0 e um limite de 1.024 tokens. Os modelos DeepSeek, GLM e Qwen da BroadNet raciocinam antes de responder, então 1.024 pode gerar respostas vazias. Defina um limite maior, como no primeiro provider.
  • omitDefaults: true remove a temperatura e o limite padrão do promptfoo, como no segundo provider. A requisição então não leva nenhum limite de saída do promptfoo.

Asserções avaliadas por modelo

As configurações do provider não valem para graders como llm-rubric. Para avaliar com um modelo da BroadNet, adicione-o de novo para o grader:

defaultTest:
  options:
    provider:
      id: openai:chat:broadnet/glm-5.3
      config:
        apiBaseUrl: https://inference.broadnet.ai/v1
        apiKeyEnvar: BROADNET_API_KEY
        max_tokens: 4000

Quais modelos comparar

Modelo Bom para
broadnet/glm-5.3 Testes de tool calling e saída estruturada
broadnet/qwen3.8-27b Testes com imagens, texto em árabe ou ferramentas
broadnet/deepseek-v4.1-flash Testes de contexto longo e sensíveis a custo
broadnet/gemma-4-26b-a4b Testes gratuitos com o crédito inicial de $5

A documentação da BroadNet lista ferramentas e saída estruturada só para GLM 5.3 e Qwen3.8 27B. Preços de todos os modelos.

Como testamos

Em 2026-11-15, instalamos o promptfoo 0.125.1 com Node 24 e rodamos promptfoo eval com uma configuração parecida com a de cima, apontada para um servidor mock local que responde no formato chat completions da BroadNet. Os testes passaram. As requisições registradas foram para /v1/chat/completions com o ID do modelo da BroadNet sem alteração e uma chave Bearer. O primeiro provider enviou max_tokens: 4000 e temperature: 0; o provider com omitDefaults: true enviou só o modelo e as mensagens. Com BROADNET_API_KEY não definida, o promptfoo parou com “Missing BROADNET_API_KEY”. Não testamos graders e não tínhamos uma chave da BroadNet, então não testamos a saída real dos modelos.

Solução de problemas

  • Saídas vazias ou cortadas. Aumente max_tokens. Por que as respostas voltam vazias.
  • 404. Confira se apiBaseUrl termina em /v1 e se o ID do modelo depois de openai:chat: mantém o prefixo broadnet/. Os modelos pagos exigem uma recarga; o crédito de $5 cobre só broadnet/gemma-4-26b-a4b e os dois modelos Transcribe.
  • 429 em evals grandes. O promptfoo rodou o nosso eval com concorrência 4. Uma chave de pagamento por uso permite 30 requisições por minuto e 4 em andamento, então reduza com promptfoo eval -j 1 em conjuntos de teste grandes. Veja erros e novas tentativas.

Perguntas frequentes

No promptfoo, uso o prefixo de provider openai:chat ou openai?

openai:chat. Com openai:chat:broadnet/glm-5.3, o promptfoo chama /v1/chat/completions, que é o que a BroadNet serve. A documentação do promptfoo diz que um nome de modelo não reconhecido depois do prefixo openai puro também cai em Chat Completions, mas o prefixo chat explícito não depende dessa regra.

Por que as respostas da BroadNet saem cortadas no promptfoo?

O promptfoo define por padrão um limite de saída de 1.024 tokens para requisições sem raciocínio, e os modelos DeepSeek, GLM e Qwen da BroadNet gastam parte do orçamento de saída com raciocínio. Defina max_tokens na config do provider, ou defina omitDefaults como true.

O apiKeyEnvar recorre a OPENAI_API_KEY?

Não. A documentação do promptfoo diz que, se a variável indicada estiver faltando, ele não recorre a OPENAI_API_KEY. No nosso teste, ele parou com "Missing BROADNET_API_KEY".

Um modelo da BroadNet pode avaliar asserções llm-rubric?

Sim, mas a documentação do promptfoo diz que as configurações do provider não valem para os graders. Configure o grader à parte em defaultTest.options.provider, com o mesmo id e a mesma config.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity