promptfoo là một CLI mã nguồn mở để kiểm thử prompt, so sánh model và red-team ứng dụng LLM. OpenAI provider của nó làm việc với các gateway tương thích OpenAI qua apiBaseUrl. BroadNet Inference phục vụ chat completions tại https://inference.broadnet.ai/v1, nên bạn có thể so sánh các model của BroadNet với nhau, hoặc với các model bạn đang dùng, từ một file YAML. BroadRouter là website của chính BroadNet; bài này làm theo tài liệu OpenAI provider của promptfoo tính đến bản phát hành 0.125.1.
Thiết lập
npm install -g promptfoo # or: npx promptfoo@latest
export BROADNET_API_KEY='your-broadnet-key'
promptfooconfig.yaml
description: BroadNet model comparison
prompts:
- 'What is the capital of Saudi Arabia? Answer in one sentence.'
providers:
- id: openai:chat:broadnet/glm-5.3
label: GLM 5.3
config:
apiBaseUrl: https://inference.broadnet.ai/v1
apiKeyEnvar: BROADNET_API_KEY
max_tokens: 4000
- id: openai:chat:broadnet/deepseek-v4.1-flash
label: DeepSeek V4.1 Flash
config:
apiBaseUrl: https://inference.broadnet.ai/v1
apiKeyEnvar: BROADNET_API_KEY
omitDefaults: true
tests:
- assert:
- type: icontains
value: Riyadh
Cấu hình thực tế thường đặt đầu vào kiểm thử trong tests.vars và tham chiếu chúng trong prompt bằng cú pháp template hai dấu ngoặc nhọn của promptfoo. Chúng tôi để cố định trong ví dụ này để nó chạy được đúng như đã viết.
Chạy:
promptfoo eval
promptfoo view # side-by-side results in the browser
Mỗi thiết lập làm gì
openai:chat:cộng ID BroadNet. Mọi thứ sauopenai:chat:là model ID được gửi đi, nên hãy giữ tiền tốbroadnet/. Phầnchatrõ ràng ghim endpoint Chat Completions; BroadNet không phục vụ Responses API.apiBaseUrllà base URL có/v1, nhưng không có/chat/completions. promptfoo tự thêm đường dẫn.apiKeyEnvarlà tên biến chứa key BroadNet. promptfoo không quay về dùngOPENAI_API_KEYnếu thiếu biến này.max_tokens. Với request không phải suy luận, mặc định của promptfoo làtemperature: 0và giới hạn 1.024 token. Các model DeepSeek, GLM và Qwen của BroadNet suy luận trước khi trả lời, nên 1.024 có thể cho ra câu trả lời rỗng. Hãy đặt giới hạn cao hơn, như ở provider thứ nhất.omitDefaults: truebỏ temperature và giới hạn mặc định của promptfoo, như ở provider thứ hai. Khi đó request không có giới hạn đầu ra nào từ promptfoo.
Assertion do model chấm
Thiết lập provider không áp dụng cho grader như llm-rubric. Để chấm bằng một model BroadNet, hãy khai báo nó lại cho grader:
defaultTest:
options:
provider:
id: openai:chat:broadnet/glm-5.3
config:
apiBaseUrl: https://inference.broadnet.ai/v1
apiKeyEnvar: BROADNET_API_KEY
max_tokens: 4000
Nên so sánh những model nào
| Model | Phù hợp cho |
|---|---|
broadnet/glm-5.3 |
Kiểm thử gọi tool và đầu ra có cấu trúc |
broadnet/qwen3.8-27b |
Kiểm thử có hình ảnh, văn bản tiếng Ả Rập hoặc tool |
broadnet/deepseek-v4.1-flash |
Kiểm thử context dài và nhạy cảm về chi phí |
broadnet/gemma-4-26b-a4b |
Kiểm thử miễn phí bằng tín dụng ban đầu $5 |
Tài liệu BroadNet chỉ ghi hỗ trợ tool và đầu ra có cấu trúc cho GLM 5.3 và Qwen3.8 27B. Giá của mọi model.
Chúng tôi đã thử nghiệm thế nào
Ngày 2026-11-15, chúng tôi cài promptfoo 0.125.1 với Node 24 và chạy promptfoo eval trên một cấu hình giống ví dụ trên, trỏ tới một mock server cục bộ mô phỏng định dạng chat completions của BroadNet. Các test đều qua. Request được ghi log đi tới /v1/chat/completions với model ID của BroadNet giữ nguyên và một Bearer key. Provider thứ nhất gửi max_tokens: 4000 và temperature: 0; provider có omitDefaults: true chỉ gửi model và messages. Khi không đặt BROADNET_API_KEY, promptfoo dừng với thông báo “Missing BROADNET_API_KEY”. Chúng tôi chưa thử grader, và vì không có key BroadNet nên chưa thử đầu ra thật của model.
Xử lý sự cố
- Đầu ra rỗng hoặc bị cắt. Hãy tăng
max_tokens. Vì sao câu trả lời trả về rỗng. - 404. Kiểm tra
apiBaseUrlkết thúc bằng/v1và model ID sauopenai:chat:vẫn giữ tiền tốbroadnet/. Các model trả phí cần nạp tiền; tín dụng $5 chỉ dùng được chobroadnet/gemma-4-26b-a4bvà hai model Transcribe. - 429 khi chạy eval lớn. promptfoo chạy eval của chúng tôi với mức đồng thời 4. Key trả theo mức dùng cho phép 30 request mỗi phút và 4 request đang xử lý, nên với bộ test lớn hãy hạ xuống bằng
promptfoo eval -j 1. Xem lỗi và thử lại.
