O promptfoo é uma CLI open source para testar prompts, comparar modelos e fazer red teaming de apps com LLM. O provider OpenAI dele funciona com gateways compatíveis com a OpenAI por meio de apiBaseUrl. A BroadNet Inference serve chat completions em https://inference.broadnet.ai/v1, então você pode comparar os modelos da BroadNet entre si, ou com modelos que já usa, a partir de um único arquivo YAML. O BroadRouter é o site da própria BroadNet; este guia segue a documentação do provider OpenAI do promptfoo na release 0.125.1.
Instalação
npm install -g promptfoo # or: npx promptfoo@latest
export BROADNET_API_KEY='your-broadnet-key'
promptfooconfig.yaml
description: BroadNet model comparison
prompts:
- 'What is the capital of Saudi Arabia? Answer in one sentence.'
providers:
- id: openai:chat:broadnet/glm-5.3
label: GLM 5.3
config:
apiBaseUrl: https://inference.broadnet.ai/v1
apiKeyEnvar: BROADNET_API_KEY
max_tokens: 4000
- id: openai:chat:broadnet/deepseek-v4.1-flash
label: DeepSeek V4.1 Flash
config:
apiBaseUrl: https://inference.broadnet.ai/v1
apiKeyEnvar: BROADNET_API_KEY
omitDefaults: true
tests:
- assert:
- type: icontains
value: Riyadh
Configurações reais costumam colocar as entradas dos testes em tests.vars e referenciá-las no prompt com a sintaxe de template de chaves duplas do promptfoo. Deixamos esta fixa para que rode do jeito que está.
Rode:
promptfoo eval
promptfoo view # side-by-side results in the browser
O que cada configuração faz
openai:chat:mais o ID da BroadNet. Tudo depois deopenai:chat:é o ID do modelo enviado, então mantenha o prefixobroadnet/. A partechatexplícita fixa o endpoint de Chat Completions; a BroadNet não serve a Responses API.apiBaseUrlé a base URL com/v1, mas sem/chat/completions. O promptfoo acrescenta o caminho.apiKeyEnvarindica a variável que guarda a sua chave da BroadNet. Se ela estiver faltando, o promptfoo não recorre aOPENAI_API_KEY.max_tokens. Para requisições sem raciocínio, os padrões do promptfoo sãotemperature: 0e um limite de 1.024 tokens. Os modelos DeepSeek, GLM e Qwen da BroadNet raciocinam antes de responder, então 1.024 pode gerar respostas vazias. Defina um limite maior, como no primeiro provider.omitDefaults: trueremove a temperatura e o limite padrão do promptfoo, como no segundo provider. A requisição então não leva nenhum limite de saída do promptfoo.
Asserções avaliadas por modelo
As configurações do provider não valem para graders como llm-rubric. Para avaliar com um modelo da BroadNet, adicione-o de novo para o grader:
defaultTest:
options:
provider:
id: openai:chat:broadnet/glm-5.3
config:
apiBaseUrl: https://inference.broadnet.ai/v1
apiKeyEnvar: BROADNET_API_KEY
max_tokens: 4000
Quais modelos comparar
| Modelo | Bom para |
|---|---|
broadnet/glm-5.3 |
Testes de tool calling e saída estruturada |
broadnet/qwen3.8-27b |
Testes com imagens, texto em árabe ou ferramentas |
broadnet/deepseek-v4.1-flash |
Testes de contexto longo e sensíveis a custo |
broadnet/gemma-4-26b-a4b |
Testes gratuitos com o crédito inicial de $5 |
A documentação da BroadNet lista ferramentas e saída estruturada só para GLM 5.3 e Qwen3.8 27B. Preços de todos os modelos.
Como testamos
Em 2026-11-15, instalamos o promptfoo 0.125.1 com Node 24 e rodamos promptfoo eval com uma configuração parecida com a de cima, apontada para um servidor mock local que responde no formato chat completions da BroadNet. Os testes passaram. As requisições registradas foram para /v1/chat/completions com o ID do modelo da BroadNet sem alteração e uma chave Bearer. O primeiro provider enviou max_tokens: 4000 e temperature: 0; o provider com omitDefaults: true enviou só o modelo e as mensagens. Com BROADNET_API_KEY não definida, o promptfoo parou com “Missing BROADNET_API_KEY”. Não testamos graders e não tínhamos uma chave da BroadNet, então não testamos a saída real dos modelos.
Solução de problemas
- Saídas vazias ou cortadas. Aumente
max_tokens. Por que as respostas voltam vazias. - 404. Confira se
apiBaseUrltermina em/v1e se o ID do modelo depois deopenai:chat:mantém o prefixobroadnet/. Os modelos pagos exigem uma recarga; o crédito de $5 cobre sóbroadnet/gemma-4-26b-a4be os dois modelos Transcribe. - 429 em evals grandes. O promptfoo rodou o nosso eval com concorrência 4. Uma chave de pagamento por uso permite 30 requisições por minuto e 4 em andamento, então reduza com
promptfoo eval -j 1em conjuntos de teste grandes. Veja erros e novas tentativas.
