promptfoo 是一个开源命令行工具,用于测试提示词、对比模型以及对 LLM 应用做红队测试。它的 OpenAI provider 可以通过 apiBaseUrl 连接 OpenAI 兼容网关。BroadNet Inference 在 https://inference.broadnet.ai/v1 上提供对话补全,所以你可以在一个 YAML 文件里对比 BroadNet 的各个模型,或者把它们和你正在用的模型放在一起比较。BroadRouter 是 BroadNet 自己的网站;本文依据 promptfoo 0.125.1 版时的 OpenAI provider 文档。
安装
npm install -g promptfoo # or: npx promptfoo@latest
export BROADNET_API_KEY='your-broadnet-key'
promptfooconfig.yaml
description: BroadNet model comparison
prompts:
- 'What is the capital of Saudi Arabia? Answer in one sentence.'
providers:
- id: openai:chat:broadnet/glm-5.3
label: GLM 5.3
config:
apiBaseUrl: https://inference.broadnet.ai/v1
apiKeyEnvar: BROADNET_API_KEY
max_tokens: 4000
- id: openai:chat:broadnet/deepseek-v4.1-flash
label: DeepSeek V4.1 Flash
config:
apiBaseUrl: https://inference.broadnet.ai/v1
apiKeyEnvar: BROADNET_API_KEY
omitDefaults: true
tests:
- assert:
- type: icontains
value: Riyadh
实际的配置通常会把测试输入放在 tests.vars 里,再在提示词中用 promptfoo 的双花括号模板语法引用。这里我们写死了内容,好让它照原样就能运行。
运行:
promptfoo eval
promptfoo view # side-by-side results in the browser
各项设置的作用
openai:chat:加 BroadNet 的 ID。openai:chat:后面的所有内容都会作为模型 ID 发送,所以要保留broadnet/前缀。显式写上chat可以固定使用 Chat Completions 端点;BroadNet 不提供 Responses API。apiBaseUrl是带/v1的 base URL,但不包含/chat/completions。路径由 promptfoo 补上。apiKeyEnvar指定保存 BroadNet 密钥的环境变量名。如果该变量不存在,promptfoo 不会退回使用OPENAI_API_KEY。max_tokens。promptfoo 对非推理请求的默认值是temperature: 0和 1,024 token 的上限。BroadNet 的 DeepSeek、GLM 和 Qwen 模型会先思考再回答,所以 1,024 可能导致回答为空。请像第一个供应商那样设一个更高的上限。omitDefaults: true会去掉 promptfoo 默认的 temperature 和上限,如第二个供应商所示。这样请求里就没有来自 promptfoo 的输出上限。
模型评分断言
供应商设置不会作用于 llm-rubric 这类评分模型。要用 BroadNet 的模型评分,需要为评分模型再添加一次:
defaultTest:
options:
provider:
id: openai:chat:broadnet/glm-5.3
config:
apiBaseUrl: https://inference.broadnet.ai/v1
apiKeyEnvar: BROADNET_API_KEY
max_tokens: 4000
对比哪些模型
| 模型 | 适合 |
|---|---|
broadnet/glm-5.3 |
工具调用和结构化输出测试 |
broadnet/qwen3.8-27b |
涉及图片、阿拉伯语文本或工具的测试 |
broadnet/deepseek-v4.1-flash |
长上下文和对成本敏感的测试 |
broadnet/gemma-4-26b-a4b |
用 $5 初始额度免费测试 |
BroadNet 的文档只为 GLM 5.3 和 Qwen3.8 27B 列出了工具和结构化输出。各模型价格。
我们是怎么测试的
2026-11-15,我们在 Node 24 上安装了 promptfoo 0.125.1,并用类似上面的配置运行了 promptfoo eval,指向一个本地模拟服务器,它返回与 BroadNet 对话补全相同结构的响应。测试通过。记录下来的请求都发往 /v1/chat/completions,BroadNet 模型 ID 未被改动,并带有 Bearer 密钥。第一个供应商发送了 max_tokens: 4000 和 temperature: 0;设置了 omitDefaults: true 的供应商只发送了模型和消息。未设置 BROADNET_API_KEY 时,promptfoo 报 “Missing BROADNET_API_KEY” 并停止。我们没有测试评分模型,而且手上没有 BroadNet 密钥,所以没有测试真实的模型输出。
