---
title: "promptfoo provider openai:chat với apiBaseUrl tùy chỉnh"
description: "Chạy eval promptfoo và so sánh model song song trên BroadNet Inference với provider openai:chat, apiBaseUrl và apiKeyEnvar, kèm cấu hình grader."
url: https://broadrouter.com/vi/guides/promptfoo-openai-compatible/
lang: vi
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Được dịch từ tiếng Anh với sự hỗ trợ của AI. [Đọc bản gốc tiếng Anh](https://broadrouter.com/guides/promptfoo-openai-compatible/) (cập nhật ngày 2026-11-16).

# Đánh giá các model BroadNet bằng promptfoo

Cập nhật 2026-11-16

Trong promptfooconfig.yaml, thêm một provider có id openai:chat:broadnet/glm-5.3 và config đặt apiBaseUrl là https://inference.broadnet.ai/v1, apiKeyEnvar là BROADNET\_API\_KEY. Dùng tiền tố openai:chat để promptfoo luôn gọi Chat Completions, endpoint mà BroadNet phục vụ. Hãy tự đặt max\_tokens, vì giới hạn đầu ra mặc định của promptfoo là 1.024 token.

promptfoo là một CLI mã nguồn mở để kiểm thử prompt, so sánh model và red-team ứng dụng LLM. OpenAI provider của nó làm việc với các gateway tương thích OpenAI qua `apiBaseUrl`. BroadNet Inference phục vụ chat completions tại `https://inference.broadnet.ai/v1`, nên bạn có thể so sánh các model của BroadNet với nhau, hoặc với các model bạn đang dùng, từ một file YAML. BroadRouter là website của chính BroadNet; bài này làm theo tài liệu OpenAI provider của promptfoo tính đến bản phát hành 0.125.1.

## Thiết lập

```bash
npm install -g promptfoo     # or: npx promptfoo@latest
export BROADNET_API_KEY='your-broadnet-key'
```

## promptfooconfig.yaml

```yaml
description: BroadNet model comparison
prompts:
  - 'What is the capital of Saudi Arabia? Answer in one sentence.'
providers:
  - id: openai:chat:broadnet/glm-5.3
    label: GLM 5.3
    config:
      apiBaseUrl: https://inference.broadnet.ai/v1
      apiKeyEnvar: BROADNET_API_KEY
      max_tokens: 4000
  - id: openai:chat:broadnet/deepseek-v4.1-flash
    label: DeepSeek V4.1 Flash
    config:
      apiBaseUrl: https://inference.broadnet.ai/v1
      apiKeyEnvar: BROADNET_API_KEY
      omitDefaults: true
tests:
  - assert:
      - type: icontains
        value: Riyadh
```

Cấu hình thực tế thường đặt đầu vào kiểm thử trong `tests.vars` và tham chiếu chúng trong prompt bằng cú pháp template hai dấu ngoặc nhọn của promptfoo. Chúng tôi để cố định trong ví dụ này để nó chạy được đúng như đã viết.

Chạy:

```bash
promptfoo eval
promptfoo view   # side-by-side results in the browser
```

## Mỗi thiết lập làm gì

-   **`openai:chat:` cộng ID BroadNet.** Mọi thứ sau `openai:chat:` là model ID được gửi đi, nên hãy giữ tiền tố `broadnet/`. Phần `chat` rõ ràng ghim endpoint Chat Completions; BroadNet không phục vụ Responses API.
-   **`apiBaseUrl`** là base URL có `/v1`, nhưng không có `/chat/completions`. promptfoo tự thêm đường dẫn.
-   **`apiKeyEnvar`** là tên biến chứa key BroadNet. promptfoo không quay về dùng `OPENAI_API_KEY` nếu thiếu biến này.
-   **`max_tokens`**. Với request không phải suy luận, mặc định của promptfoo là `temperature: 0` và giới hạn 1.024 token. Các model DeepSeek, GLM và Qwen của BroadNet suy luận trước khi trả lời, nên 1.024 có thể cho ra câu trả lời rỗng. Hãy đặt giới hạn cao hơn, như ở provider thứ nhất.
-   **`omitDefaults: true`** bỏ temperature và giới hạn mặc định của promptfoo, như ở provider thứ hai. Khi đó request không có giới hạn đầu ra nào từ promptfoo.

## Assertion do model chấm

Thiết lập provider không áp dụng cho grader như `llm-rubric`. Để chấm bằng một model BroadNet, hãy khai báo nó lại cho grader:

```yaml
defaultTest:
  options:
    provider:
      id: openai:chat:broadnet/glm-5.3
      config:
        apiBaseUrl: https://inference.broadnet.ai/v1
        apiKeyEnvar: BROADNET_API_KEY
        max_tokens: 4000
```

## Nên so sánh những model nào

| Model | Phù hợp cho |
| --- | --- |
| `broadnet/glm-5.3` | Kiểm thử gọi tool và đầu ra có cấu trúc |
| `broadnet/qwen3.8-27b` | Kiểm thử có hình ảnh, văn bản tiếng Ả Rập hoặc tool |
| `broadnet/deepseek-v4.1-flash` | Kiểm thử context dài và nhạy cảm về chi phí |
| `broadnet/gemma-4-26b-a4b` | Kiểm thử miễn phí bằng tín dụng ban đầu $5 |

Tài liệu BroadNet chỉ ghi hỗ trợ tool và đầu ra có cấu trúc cho GLM 5.3 và Qwen3.8 27B. [Giá của mọi model](https://broadrouter.com/vi/pricing/).

## Chúng tôi đã thử nghiệm thế nào

Ngày 2026-11-15, chúng tôi cài promptfoo 0.125.1 với Node 24 và chạy `promptfoo eval` trên một cấu hình giống ví dụ trên, trỏ tới một mock server cục bộ mô phỏng định dạng chat completions của BroadNet. Các test đều qua. Request được ghi log đi tới `/v1/chat/completions` với model ID của BroadNet giữ nguyên và một Bearer key. Provider thứ nhất gửi `max_tokens: 4000` và `temperature: 0`; provider có `omitDefaults: true` chỉ gửi model và messages. Khi không đặt `BROADNET_API_KEY`, promptfoo dừng với thông báo “Missing BROADNET\_API\_KEY”. Chúng tôi chưa thử grader, và vì không có key BroadNet nên chưa thử đầu ra thật của model.

## Xử lý sự cố

-   **Đầu ra rỗng hoặc bị cắt.** Hãy tăng `max_tokens`. [Vì sao câu trả lời trả về rỗng](https://broadrouter.com/vi/guides/reasoning-tokens-empty-response/).
-   **404.** Kiểm tra `apiBaseUrl` kết thúc bằng `/v1` và model ID sau `openai:chat:` vẫn giữ tiền tố `broadnet/`. Các model trả phí cần nạp tiền; tín dụng $5 chỉ dùng được cho `broadnet/gemma-4-26b-a4b` và hai model Transcribe.
-   **429 khi chạy eval lớn.** promptfoo chạy eval của chúng tôi với mức đồng thời 4. Key trả theo mức dùng cho phép 30 request mỗi phút và 4 request đang xử lý, nên với bộ test lớn hãy hạ xuống bằng `promptfoo eval -j 1`. Xem [lỗi và thử lại](https://broadrouter.com/vi/guides/errors-and-retries/).

## Thuật ngữ trong hướng dẫn này

[Chat Completions API](https://broadrouter.com/vi/glossary/chat-completions-api/)

Chat Completions API là endpoint HTTP của OpenAI, POST /v1/chat/completions, nhận tên model và danh sách message có gắn vai trò rồi trả về message tiếp theo của model. Cấu trúc request và response của nó đã trở thành định dạng chung mà các nhà cung cấp và SDK tương thích OpenAI dùng lại.

[Trả theo mức dùng (pay-as-you-go)](https://broadrouter.com/vi/glossary/pay-as-you-go/)

Trả theo mức dùng (pay-as-you-go) là mô hình giá mà bạn chỉ trả cho những gì đã dùng, đo theo đơn vị như token, request hoặc phút âm thanh, không có gói đăng ký hay cam kết tối thiểu. Hầu hết API LLM tính phí theo cách này, trừ vào số dư trả trước hoặc qua hóa đơn định kỳ.

[Đầu ra có cấu trúc (structured output)](https://broadrouter.com/vi/glossary/structured-output/)

Đầu ra có cấu trúc (structured output) là tính năng của API LLM buộc câu trả lời của model theo định dạng do lập trình viên chỉ định, thường là JSON Schema, để code parse được tin cậy. Nó chặt hơn JSON mode, vốn chỉ đảm bảo JSON hợp lệ chứ không đảm bảo một cấu trúc cụ thể.

[Giới hạn tần suất (rate limit)](https://broadrouter.com/vi/glossary/rate-limit/)

Giới hạn tần suất (rate limit) là mức trần mà API đặt ra cho lượng sử dụng của một client trong một khoảng thời gian, như số request mỗi phút hoặc số token mỗi phút. Request vượt giới hạn bị từ chối, thường với HTTP 429 Too Many Requests, cho đến khi mức dùng giảm xuống dưới giới hạn.

[API tương thích OpenAI (OpenAI-compatible API)](https://broadrouter.com/vi/glossary/openai-compatible-api/)

API tương thích OpenAI là một HTTP API nhận cùng định dạng request và phản hồi như OpenAI API, ví dụ POST /v1/chat/completions, nên SDK và công cụ của OpenAI dùng được nó chỉ bằng cách đổi base URL, API key và tên model.

[Base URL](https://broadrouter.com/vi/glossary/base-url/)

Base URL là địa chỉ gốc cố định của một API, như https://api.example.com/v1, mà client đặt trước mọi đường dẫn endpoint, như /chat/completions. Trong SDK tương thích OpenAI, đổi base URL cùng với API key và model ID sẽ trỏ cùng một đoạn code sang nhà cung cấp khác.

[Concurrency (request đồng thời)](https://broadrouter.com/vi/glossary/concurrency/)

Concurrency (request đồng thời) là số request mà một client đang xử lý cùng lúc. Các API LLM thường giới hạn nó theo key hoặc theo gói, tách biệt với số request mỗi phút, vì mỗi request đang mở chiếm dụng năng lực GPU cho tới khi response kết thúc.

[Temperature (nhiệt độ)](https://broadrouter.com/vi/glossary/temperature/)

Temperature là tham số sampling điều chỉnh mức ngẫu nhiên trong đầu ra của model ngôn ngữ. Model chia điểm của từng token cho temperature trước khi đổi thành xác suất: giá trị thấp làm token khả dĩ nhất chiếm ưu thế, giá trị cao làm phân phối phẳng hơn nên token ít khả dĩ được chọn thường hơn.

## Câu hỏi thường gặp

### Nên dùng tiền tố provider openai:chat hay openai trong promptfoo?

openai:chat. Với openai:chat:broadnet/glm-5.3, promptfoo gọi /v1/chat/completions, đúng endpoint BroadNet phục vụ. Tài liệu promptfoo nói tên model không nhận ra sau tiền tố openai trần cũng quay về Chat Completions, nhưng tiền tố chat rõ ràng không phụ thuộc vào quy tắc đó.

### Vì sao câu trả lời từ BroadNet bị cắt ngang trong promptfoo?

Mặc định promptfoo đặt giới hạn đầu ra 1.024 token cho các request không phải suy luận, trong khi các model DeepSeek, GLM và Qwen của BroadNet dùng một phần ngân sách đầu ra cho suy luận. Hãy đặt max\_tokens trong config của provider, hoặc đặt omitDefaults là true.

### apiKeyEnvar có quay về dùng OPENAI\_API\_KEY không?

Không. Tài liệu promptfoo nói nếu thiếu biến được chỉ định, nó không quay về dùng OPENAI\_API\_KEY. Trong thử nghiệm của chúng tôi, nó dừng với thông báo “Missing BROADNET\_API\_KEY”.

### Model BroadNet có chấm được assertion llm-rubric không?

Có, nhưng tài liệu promptfoo nói thiết lập provider không áp dụng cho grader. Hãy đặt grader riêng dưới defaultTest.options.provider với cùng id và config.

## Hướng dẫn liên quan

-   [Gửi request đầu tiên tới BroadNet Inference bằng curl](https://broadrouter.com/vi/guides/curl-quickstart/)
-   [Dùng OpenAI Node.js SDK với BroadNet Inference](https://broadrouter.com/vi/guides/openai-node-sdk/)
-   [Vì sao model suy luận trả về câu trả lời rỗng](https://broadrouter.com/vi/guides/reasoning-tokens-empty-response/)
-   [Mã lỗi BroadNet Inference và khi nào nên thử lại](https://broadrouter.com/vi/guides/errors-and-retries/)
-   [Mọi công cụ dùng được với BroadNet Inference (tiếng Anh)](https://broadrouter.com/integrations/): SDK, agent lập trình, giao diện chat và công cụ tự động hóa, kèm cấu hình chính xác cho từng công cụ

Hãy thử với khối lượng công việc thực tế của bạn. Tài khoản mới được tặng US$5 tín dụng ban đầu cho Gemma và chuyển giọng nói thành văn bản. DeepSeek, GLM và Qwen3.8 cần nạp tiền.

[Bắt đầu](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-guides-promptfoo-openai-compatible&utm_content=page-cta) ·

**Nguồn**

-   [Tài liệu promptfoo, OpenAI provider (gateway tương thích OpenAI) (kiểm tra ngày 2026-11-15)](https://www.promptfoo.dev/docs/providers/openai/)
-   [promptfoo trên GitHub, bản phát hành 0.125.1, 2026-10-25 (kiểm tra ngày 2026-11-15)](https://github.com/promptfoo/promptfoo/releases/tag/0.125.1)
-   [Tài liệu tham chiếu API BroadNet Inference (kiểm tra ngày 2026-11-15) (tiếng Anh)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-guides-promptfoo-openai-compatible&utm_content=sources)
