BroadRouter

Đánh giá các model BroadNet bằng promptfoo

Cập nhật

Trong promptfooconfig.yaml, thêm một provider có id openai:chat:broadnet/glm-5.3 và config đặt apiBaseUrl là https://inference.broadnet.ai/v1, apiKeyEnvar là BROADNET_API_KEY. Dùng tiền tố openai:chat để promptfoo luôn gọi Chat Completions, endpoint mà BroadNet phục vụ. Hãy tự đặt max_tokens, vì giới hạn đầu ra mặc định của promptfoo là 1.024 token.

promptfoo là một CLI mã nguồn mở để kiểm thử prompt, so sánh model và red-team ứng dụng LLM. OpenAI provider của nó làm việc với các gateway tương thích OpenAI qua apiBaseUrl. BroadNet Inference phục vụ chat completions tại https://inference.broadnet.ai/v1, nên bạn có thể so sánh các model của BroadNet với nhau, hoặc với các model bạn đang dùng, từ một file YAML. BroadRouter là website của chính BroadNet; bài này làm theo tài liệu OpenAI provider của promptfoo tính đến bản phát hành 0.125.1.

Thiết lập

npm install -g promptfoo     # or: npx promptfoo@latest
export BROADNET_API_KEY='your-broadnet-key'

promptfooconfig.yaml

description: BroadNet model comparison
prompts:
  - 'What is the capital of Saudi Arabia? Answer in one sentence.'
providers:
  - id: openai:chat:broadnet/glm-5.3
    label: GLM 5.3
    config:
      apiBaseUrl: https://inference.broadnet.ai/v1
      apiKeyEnvar: BROADNET_API_KEY
      max_tokens: 4000
  - id: openai:chat:broadnet/deepseek-v4.1-flash
    label: DeepSeek V4.1 Flash
    config:
      apiBaseUrl: https://inference.broadnet.ai/v1
      apiKeyEnvar: BROADNET_API_KEY
      omitDefaults: true
tests:
  - assert:
      - type: icontains
        value: Riyadh

Cấu hình thực tế thường đặt đầu vào kiểm thử trong tests.vars và tham chiếu chúng trong prompt bằng cú pháp template hai dấu ngoặc nhọn của promptfoo. Chúng tôi để cố định trong ví dụ này để nó chạy được đúng như đã viết.

Chạy:

promptfoo eval
promptfoo view   # side-by-side results in the browser

Mỗi thiết lập làm gì

  • openai:chat: cộng ID BroadNet. Mọi thứ sau openai:chat: là model ID được gửi đi, nên hãy giữ tiền tố broadnet/. Phần chat rõ ràng ghim endpoint Chat Completions; BroadNet không phục vụ Responses API.
  • apiBaseUrl là base URL có /v1, nhưng không có /chat/completions. promptfoo tự thêm đường dẫn.
  • apiKeyEnvar là tên biến chứa key BroadNet. promptfoo không quay về dùng OPENAI_API_KEY nếu thiếu biến này.
  • max_tokens. Với request không phải suy luận, mặc định của promptfoo là temperature: 0 và giới hạn 1.024 token. Các model DeepSeek, GLM và Qwen của BroadNet suy luận trước khi trả lời, nên 1.024 có thể cho ra câu trả lời rỗng. Hãy đặt giới hạn cao hơn, như ở provider thứ nhất.
  • omitDefaults: true bỏ temperature và giới hạn mặc định của promptfoo, như ở provider thứ hai. Khi đó request không có giới hạn đầu ra nào từ promptfoo.

Assertion do model chấm

Thiết lập provider không áp dụng cho grader như llm-rubric. Để chấm bằng một model BroadNet, hãy khai báo nó lại cho grader:

defaultTest:
  options:
    provider:
      id: openai:chat:broadnet/glm-5.3
      config:
        apiBaseUrl: https://inference.broadnet.ai/v1
        apiKeyEnvar: BROADNET_API_KEY
        max_tokens: 4000

Nên so sánh những model nào

Model Phù hợp cho
broadnet/glm-5.3 Kiểm thử gọi tool và đầu ra có cấu trúc
broadnet/qwen3.8-27b Kiểm thử có hình ảnh, văn bản tiếng Ả Rập hoặc tool
broadnet/deepseek-v4.1-flash Kiểm thử context dài và nhạy cảm về chi phí
broadnet/gemma-4-26b-a4b Kiểm thử miễn phí bằng tín dụng ban đầu $5

Tài liệu BroadNet chỉ ghi hỗ trợ tool và đầu ra có cấu trúc cho GLM 5.3 và Qwen3.8 27B. Giá của mọi model.

Chúng tôi đã thử nghiệm thế nào

Ngày 2026-11-15, chúng tôi cài promptfoo 0.125.1 với Node 24 và chạy promptfoo eval trên một cấu hình giống ví dụ trên, trỏ tới một mock server cục bộ mô phỏng định dạng chat completions của BroadNet. Các test đều qua. Request được ghi log đi tới /v1/chat/completions với model ID của BroadNet giữ nguyên và một Bearer key. Provider thứ nhất gửi max_tokens: 4000 và temperature: 0; provider có omitDefaults: true chỉ gửi model và messages. Khi không đặt BROADNET_API_KEY, promptfoo dừng với thông báo “Missing BROADNET_API_KEY”. Chúng tôi chưa thử grader, và vì không có key BroadNet nên chưa thử đầu ra thật của model.

Xử lý sự cố

  • Đầu ra rỗng hoặc bị cắt. Hãy tăng max_tokens. Vì sao câu trả lời trả về rỗng.
  • 404. Kiểm tra apiBaseUrl kết thúc bằng /v1 và model ID sau openai:chat: vẫn giữ tiền tố broadnet/. Các model trả phí cần nạp tiền; tín dụng $5 chỉ dùng được cho broadnet/gemma-4-26b-a4b và hai model Transcribe.
  • 429 khi chạy eval lớn. promptfoo chạy eval của chúng tôi với mức đồng thời 4. Key trả theo mức dùng cho phép 30 request mỗi phút và 4 request đang xử lý, nên với bộ test lớn hãy hạ xuống bằng promptfoo eval -j 1. Xem lỗi và thử lại.

Câu hỏi thường gặp

Nên dùng tiền tố provider openai:chat hay openai trong promptfoo?

openai:chat. Với openai:chat:broadnet/glm-5.3, promptfoo gọi /v1/chat/completions, đúng endpoint BroadNet phục vụ. Tài liệu promptfoo nói tên model không nhận ra sau tiền tố openai trần cũng quay về Chat Completions, nhưng tiền tố chat rõ ràng không phụ thuộc vào quy tắc đó.

Vì sao câu trả lời từ BroadNet bị cắt ngang trong promptfoo?

Mặc định promptfoo đặt giới hạn đầu ra 1.024 token cho các request không phải suy luận, trong khi các model DeepSeek, GLM và Qwen của BroadNet dùng một phần ngân sách đầu ra cho suy luận. Hãy đặt max_tokens trong config của provider, hoặc đặt omitDefaults là true.

apiKeyEnvar có quay về dùng OPENAI_API_KEY không?

Không. Tài liệu promptfoo nói nếu thiếu biến được chỉ định, nó không quay về dùng OPENAI_API_KEY. Trong thử nghiệm của chúng tôi, nó dừng với thông báo “Missing BROADNET_API_KEY”.

Model BroadNet có chấm được assertion llm-rubric không?

Có, nhưng tài liệu promptfoo nói thiết lập provider không áp dụng cho grader. Hãy đặt grader riêng dưới defaultTest.options.provider với cùng id và config.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity