BroadRouter

用 promptfoo 评测 BroadNet 的模型

更新于

在 promptfooconfig.yaml 中添加一个 id 为 openai:chat:broadnet/glm-5.3 的供应商,并在 config 里把 apiBaseUrl 设为 https://inference.broadnet.ai/v1,apiKeyEnvar 设为 BROADNET_API_KEY。使用 openai:chat 前缀,promptfoo 就会始终调用 BroadNet 提供的 Chat Completions 端点。请自己设置 max_tokens,因为 promptfoo 默认的输出上限是 1,024 token。

promptfoo 是一个开源命令行工具,用于测试提示词、对比模型以及对 LLM 应用做红队测试。它的 OpenAI provider 可以通过 apiBaseUrl 连接 OpenAI 兼容网关。BroadNet Inference 在 https://inference.broadnet.ai/v1 上提供对话补全,所以你可以在一个 YAML 文件里对比 BroadNet 的各个模型,或者把它们和你正在用的模型放在一起比较。BroadRouter 是 BroadNet 自己的网站;本文依据 promptfoo 0.125.1 版时的 OpenAI provider 文档。

安装

npm install -g promptfoo     # or: npx promptfoo@latest
export BROADNET_API_KEY='your-broadnet-key'

promptfooconfig.yaml

description: BroadNet model comparison
prompts:
  - 'What is the capital of Saudi Arabia? Answer in one sentence.'
providers:
  - id: openai:chat:broadnet/glm-5.3
    label: GLM 5.3
    config:
      apiBaseUrl: https://inference.broadnet.ai/v1
      apiKeyEnvar: BROADNET_API_KEY
      max_tokens: 4000
  - id: openai:chat:broadnet/deepseek-v4.1-flash
    label: DeepSeek V4.1 Flash
    config:
      apiBaseUrl: https://inference.broadnet.ai/v1
      apiKeyEnvar: BROADNET_API_KEY
      omitDefaults: true
tests:
  - assert:
      - type: icontains
        value: Riyadh

实际的配置通常会把测试输入放在 tests.vars 里,再在提示词中用 promptfoo 的双花括号模板语法引用。这里我们写死了内容,好让它照原样就能运行。

运行:

promptfoo eval
promptfoo view   # side-by-side results in the browser

各项设置的作用

  • openai:chat: 加 BroadNet 的 ID。 openai:chat: 后面的所有内容都会作为模型 ID 发送,所以要保留 broadnet/ 前缀。显式写上 chat 可以固定使用 Chat Completions 端点;BroadNet 不提供 Responses API。
  • apiBaseUrl 是带 /v1 的 base URL,但不包含 /chat/completions。路径由 promptfoo 补上。
  • apiKeyEnvar 指定保存 BroadNet 密钥的环境变量名。如果该变量不存在,promptfoo 不会退回使用 OPENAI_API_KEY。
  • max_tokens。promptfoo 对非推理请求的默认值是 temperature: 0 和 1,024 token 的上限。BroadNet 的 DeepSeek、GLM 和 Qwen 模型会先思考再回答,所以 1,024 可能导致回答为空。请像第一个供应商那样设一个更高的上限。
  • omitDefaults: true 会去掉 promptfoo 默认的 temperature 和上限,如第二个供应商所示。这样请求里就没有来自 promptfoo 的输出上限。

模型评分断言

供应商设置不会作用于 llm-rubric 这类评分模型。要用 BroadNet 的模型评分,需要为评分模型再添加一次:

defaultTest:
  options:
    provider:
      id: openai:chat:broadnet/glm-5.3
      config:
        apiBaseUrl: https://inference.broadnet.ai/v1
        apiKeyEnvar: BROADNET_API_KEY
        max_tokens: 4000

对比哪些模型

模型 适合
broadnet/glm-5.3 工具调用和结构化输出测试
broadnet/qwen3.8-27b 涉及图片、阿拉伯语文本或工具的测试
broadnet/deepseek-v4.1-flash 长上下文和对成本敏感的测试
broadnet/gemma-4-26b-a4b 用 $5 初始额度免费测试

BroadNet 的文档只为 GLM 5.3 和 Qwen3.8 27B 列出了工具和结构化输出。各模型价格。

我们是怎么测试的

2026-11-15,我们在 Node 24 上安装了 promptfoo 0.125.1,并用类似上面的配置运行了 promptfoo eval,指向一个本地模拟服务器,它返回与 BroadNet 对话补全相同结构的响应。测试通过。记录下来的请求都发往 /v1/chat/completions,BroadNet 模型 ID 未被改动,并带有 Bearer 密钥。第一个供应商发送了 max_tokens: 4000 和 temperature: 0;设置了 omitDefaults: true 的供应商只发送了模型和消息。未设置 BROADNET_API_KEY 时,promptfoo 报 “Missing BROADNET_API_KEY” 并停止。我们没有测试评分模型,而且手上没有 BroadNet 密钥,所以没有测试真实的模型输出。

故障排查

  • 输出为空或被截断。 调高 max_tokens。为什么回答会是空的。
  • 404。 检查 apiBaseUrl 是否以 /v1 结尾,以及 openai:chat: 后面的模型 ID 是否保留了 broadnet/ 前缀。付费模型需要先充值;$5 额度只能用于 broadnet/gemma-4-26b-a4b 和两个 Transcribe 模型。
  • 大规模评测时出现 429。 promptfoo 运行我们的评测时并发数为 4。按量付费密钥每分钟允许 30 个请求,同时最多 4 个在处理中,所以测试集较大时请用 promptfoo eval -j 1 降低并发。见错误码与重试。

常见问题

promptfoo 的供应商前缀该用 openai:chat 还是 openai?

用 openai:chat。写成 openai:chat:broadnet/glm-5.3 时,promptfoo 调用的是 /v1/chat/completions,正是 BroadNet 提供的端点。promptfoo 的文档说,只写 openai 前缀时,无法识别的模型名也会退回到 Chat Completions,但显式写上 chat 就不必依赖这条规则。

为什么 BroadNet 的回答在 promptfoo 里被截断?

promptfoo 对非推理请求默认设置 1,024 token 的输出上限,而 BroadNet 的 DeepSeek、GLM 和 Qwen 模型会把一部分输出预算用在思考上。请在供应商配置里设置 max_tokens,或者把 omitDefaults 设为 true。

apiKeyEnvar 找不到变量时会退回到 OPENAI_API_KEY 吗?

不会。promptfoo 的文档说,如果指定的变量不存在,它不会退回使用 OPENAI_API_KEY。在我们的测试中,它直接报 "Missing BROADNET_API_KEY" 并停止。

可以用 BroadNet 的模型给 llm-rubric 断言评分吗?

可以,但 promptfoo 的文档说供应商设置不会作用于评分模型。请在 defaultTest.options.provider 下单独设置评分模型,使用相同的 id 和 config。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity