---
title: "promptfoo openai:chat 供应商配置自定义 apiBaseUrl | BroadRouter"
description: "用 openai:chat 供应商、apiBaseUrl 和 apiKeyEnvar，在 BroadNet Inference 上运行 promptfoo 评测和模型并排对比测试，并配置评分模型。"
url: https://broadrouter.com/zh/guides/promptfoo-openai-compatible/
lang: zh-Hans
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。[阅读英文原文](https://broadrouter.com/guides/promptfoo-openai-compatible/)（2026-11-16 更新）。

# 用 promptfoo 评测 BroadNet 的模型

更新于 2026-11-16

在 promptfooconfig.yaml 中添加一个 id 为 openai:chat:broadnet/glm-5.3 的供应商，并在 config 里把 apiBaseUrl 设为 https://inference.broadnet.ai/v1，apiKeyEnvar 设为 BROADNET\_API\_KEY。使用 openai:chat 前缀，promptfoo 就会始终调用 BroadNet 提供的 Chat Completions 端点。请自己设置 max\_tokens，因为 promptfoo 默认的输出上限是 1,024 token。

promptfoo 是一个开源命令行工具，用于测试提示词、对比模型以及对 LLM 应用做红队测试。它的 OpenAI provider 可以通过 `apiBaseUrl` 连接 OpenAI 兼容网关。BroadNet Inference 在 `https://inference.broadnet.ai/v1` 上提供对话补全，所以你可以在一个 YAML 文件里对比 BroadNet 的各个模型，或者把它们和你正在用的模型放在一起比较。BroadRouter 是 BroadNet 自己的网站；本文依据 promptfoo 0.125.1 版时的 OpenAI provider 文档。

## 安装

```bash
npm install -g promptfoo     # or: npx promptfoo@latest
export BROADNET_API_KEY='your-broadnet-key'
```

## promptfooconfig.yaml

```yaml
description: BroadNet model comparison
prompts:
  - 'What is the capital of Saudi Arabia? Answer in one sentence.'
providers:
  - id: openai:chat:broadnet/glm-5.3
    label: GLM 5.3
    config:
      apiBaseUrl: https://inference.broadnet.ai/v1
      apiKeyEnvar: BROADNET_API_KEY
      max_tokens: 4000
  - id: openai:chat:broadnet/deepseek-v4.1-flash
    label: DeepSeek V4.1 Flash
    config:
      apiBaseUrl: https://inference.broadnet.ai/v1
      apiKeyEnvar: BROADNET_API_KEY
      omitDefaults: true
tests:
  - assert:
      - type: icontains
        value: Riyadh
```

实际的配置通常会把测试输入放在 `tests.vars` 里，再在提示词中用 promptfoo 的双花括号模板语法引用。这里我们写死了内容，好让它照原样就能运行。

运行：

```bash
promptfoo eval
promptfoo view   # side-by-side results in the browser
```

## 各项设置的作用

-   **`openai:chat:` 加 BroadNet 的 ID。** `openai:chat:` 后面的所有内容都会作为模型 ID 发送，所以要保留 `broadnet/` 前缀。显式写上 `chat` 可以固定使用 Chat Completions 端点；BroadNet 不提供 Responses API。
-   **`apiBaseUrl`** 是带 `/v1` 的 base URL，但不包含 `/chat/completions`。路径由 promptfoo 补上。
-   **`apiKeyEnvar`** 指定保存 BroadNet 密钥的环境变量名。如果该变量不存在，promptfoo 不会退回使用 `OPENAI_API_KEY`。
-   **`max_tokens`**。promptfoo 对非推理请求的默认值是 `temperature: 0` 和 1,024 token 的上限。BroadNet 的 DeepSeek、GLM 和 Qwen 模型会先思考再回答，所以 1,024 可能导致回答为空。请像第一个供应商那样设一个更高的上限。
-   **`omitDefaults: true`** 会去掉 promptfoo 默认的 temperature 和上限，如第二个供应商所示。这样请求里就没有来自 promptfoo 的输出上限。

## 模型评分断言

供应商设置不会作用于 `llm-rubric` 这类评分模型。要用 BroadNet 的模型评分，需要为评分模型再添加一次：

```yaml
defaultTest:
  options:
    provider:
      id: openai:chat:broadnet/glm-5.3
      config:
        apiBaseUrl: https://inference.broadnet.ai/v1
        apiKeyEnvar: BROADNET_API_KEY
        max_tokens: 4000
```

## 对比哪些模型

| 模型 | 适合 |
| --- | --- |
| `broadnet/glm-5.3` | 工具调用和结构化输出测试 |
| `broadnet/qwen3.8-27b` | 涉及图片、阿拉伯语文本或工具的测试 |
| `broadnet/deepseek-v4.1-flash` | 长上下文和对成本敏感的测试 |
| `broadnet/gemma-4-26b-a4b` | 用 $5 初始额度免费测试 |

BroadNet 的文档只为 GLM 5.3 和 Qwen3.8 27B 列出了工具和结构化输出。[各模型价格](https://broadrouter.com/zh/pricing/)。

## 我们是怎么测试的

2026-11-15，我们在 Node 24 上安装了 promptfoo 0.125.1，并用类似上面的配置运行了 `promptfoo eval`，指向一个本地模拟服务器，它返回与 BroadNet 对话补全相同结构的响应。测试通过。记录下来的请求都发往 `/v1/chat/completions`，BroadNet 模型 ID 未被改动，并带有 Bearer 密钥。第一个供应商发送了 `max_tokens: 4000` 和 `temperature: 0`；设置了 `omitDefaults: true` 的供应商只发送了模型和消息。未设置 `BROADNET_API_KEY` 时，promptfoo 报 “Missing BROADNET\_API\_KEY” 并停止。我们没有测试评分模型，而且手上没有 BroadNet 密钥，所以没有测试真实的模型输出。

## 故障排查

-   **输出为空或被截断。** 调高 `max_tokens`。[为什么回答会是空的](https://broadrouter.com/zh/guides/reasoning-tokens-empty-response/)。
-   **404。** 检查 `apiBaseUrl` 是否以 `/v1` 结尾，以及 `openai:chat:` 后面的模型 ID 是否保留了 `broadnet/` 前缀。付费模型需要先充值；$5 额度只能用于 `broadnet/gemma-4-26b-a4b` 和两个 Transcribe 模型。
-   **大规模评测时出现 429。** promptfoo 运行我们的评测时并发数为 4。按量付费密钥每分钟允许 30 个请求，同时最多 4 个在处理中，所以测试集较大时请用 `promptfoo eval -j 1` 降低并发。见[错误码与重试](https://broadrouter.com/zh/guides/errors-and-retries/)。

## 本指南涉及的术语

[按量付费（pay-as-you-go）](https://broadrouter.com/zh/glossary/pay-as-you-go/)

按量付费是一种计价模式：你只为实际用量付费，按 token、请求次数或音频分钟等单位计量，没有订阅费，也没有最低消费承诺。大多数大模型 API 都这样计费，从预付余额中扣减或定期开具账单。

[并发（concurrency）](https://broadrouter.com/zh/glossary/concurrency/)

并发（concurrency）是客户端在同一时刻正在进行中的请求数。大模型 API 往往按密钥或套餐单独限制并发，与每分钟请求数分开计算，因为每个未完成的请求在响应结束前都会占用 GPU 资源。

[结构化输出（structured output）](https://broadrouter.com/zh/glossary/structured-output/)

结构化输出是大模型 API 的一项功能，它把模型的回复约束为开发者指定的格式（通常是 JSON Schema），让代码能可靠地解析。它比 JSON mode 更严格：JSON mode 只保证输出是合法 JSON，不保证特定结构。

[温度（temperature）](https://broadrouter.com/zh/glossary/temperature/)

温度（temperature）是控制语言模型输出随机程度的采样参数。模型先把每个 token 的分数除以温度，再转换成概率：温度低时，最可能的 token 占据主导；温度高时，分布变得平坦，可能性较低的 token 被选中的次数更多。

[Base URL（base\_url）](https://broadrouter.com/zh/glossary/base-url/)

base URL 是 API 固定的根地址，例如 https://api.example.com/v1，客户端会把它加在每个端点路径（例如 /chat/completions）前面。在 OpenAI 兼容 SDK 中，修改 base URL，再配合 API 密钥和模型 ID，就能让同一份代码改用另一家服务商。

[LLM-as-a-judge（大模型评审）](https://broadrouter.com/zh/glossary/llm-as-judge/)

LLM-as-a-judge 是一种评测方法：由一个语言模型给其他模型的输出打分，要么按评分标准给单个回答打分，要么从两个回答中挑出更好的一个。它以低得多的成本近似人工判断，但有已知偏差，比如偏爱排在前面或更长的回答。

[速率限制（rate limit）](https://broadrouter.com/zh/glossary/rate-limit/)

速率限制是 API 对客户端在一个时间窗口内的使用量设定的上限，例如每分钟请求数或每分钟 token 数。超出限制的请求会被拒绝，通常返回 HTTP 429 Too Many Requests，直到用量回落到限制以下。

[Chat Completions API（对话补全接口）](https://broadrouter.com/zh/glossary/chat-completions-api/)

Chat Completions API 是 OpenAI 的 HTTP 端点 POST /v1/chat/completions，它接收模型名称和一组带角色标记的消息，返回模型的下一条消息。它的请求与响应结构已成为 OpenAI 兼容服务商和各类 SDK 通用的格式。

## 常见问题

### promptfoo 的供应商前缀该用 openai:chat 还是 openai？

用 openai:chat。写成 openai:chat:broadnet/glm-5.3 时，promptfoo 调用的是 /v1/chat/completions，正是 BroadNet 提供的端点。promptfoo 的文档说，只写 openai 前缀时，无法识别的模型名也会退回到 Chat Completions，但显式写上 chat 就不必依赖这条规则。

### 为什么 BroadNet 的回答在 promptfoo 里被截断？

promptfoo 对非推理请求默认设置 1,024 token 的输出上限，而 BroadNet 的 DeepSeek、GLM 和 Qwen 模型会把一部分输出预算用在思考上。请在供应商配置里设置 max\_tokens，或者把 omitDefaults 设为 true。

### apiKeyEnvar 找不到变量时会退回到 OPENAI\_API\_KEY 吗？

不会。promptfoo 的文档说，如果指定的变量不存在，它不会退回使用 OPENAI\_API\_KEY。在我们的测试中，它直接报 "Missing BROADNET\_API\_KEY" 并停止。

### 可以用 BroadNet 的模型给 llm-rubric 断言评分吗？

可以，但 promptfoo 的文档说供应商设置不会作用于评分模型。请在 defaultTest.options.provider 下单独设置评分模型，使用相同的 id 和 config。

## 相关指南

-   [用 curl 首次调用 BroadNet Inference API](https://broadrouter.com/zh/guides/curl-quickstart/)
-   [用 OpenAI Node.js SDK 调用 BroadNet Inference](https://broadrouter.com/zh/guides/openai-node-sdk/)
-   [推理模型为什么返回空回答](https://broadrouter.com/zh/guides/reasoning-tokens-empty-response/)
-   [BroadNet Inference 错误码，以及什么时候该重试](https://broadrouter.com/zh/guides/errors-and-retries/)
-   [所有可与 BroadNet Inference 配合使用的工具（英文）](https://broadrouter.com/integrations/)：SDK、编程智能体、聊天界面和自动化工具，并附每个工具的具体设置

用你的真实业务负载试一试。新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-guides-promptfoo-openai-compatible&utm_content=page-cta) ·

**来源**

-   [promptfoo 文档：OpenAI provider（OpenAI 兼容网关）（核对于 2026-11-15）](https://www.promptfoo.dev/docs/providers/openai/)
-   [GitHub 上的 promptfoo：0.125.1 版，2026-10-25 发布（核对于 2026-11-15）](https://github.com/promptfoo/promptfoo/releases/tag/0.125.1)
-   [BroadNet Inference API 参考文档（核对于 2026-11-15）（英文）](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-guides-promptfoo-openai-compatible&utm_content=sources)
