BroadRouter

I-evaluate ang mga BroadNet model gamit ang promptfoo

Na-update

Sa promptfooconfig.yaml, magdagdag ng provider na may id na openai:chat:broadnet/glm-5.3 at config na nagse-set ng apiBaseUrl sa https://inference.broadnet.ai/v1 at apiKeyEnvar sa BROADNET_API_KEY. Gamitin ang openai:chat prefix para laging Chat Completions ang tawagin ng promptfoo, ang endpoint na sine-serve ng BroadNet. Ikaw na ang mag-set ng max_tokens, dahil 1,024 token ang default na output limit ng promptfoo.

Ang promptfoo ay open-source na CLI para sa pag-test ng mga prompt, pagkumpara ng mga model at red-teaming ng mga LLM app. Gumagana ang OpenAI provider nito sa mga OpenAI-compatible gateway sa pamamagitan ng apiBaseUrl. Nagse-serve ang BroadNet Inference ng chat completions sa https://inference.broadnet.ai/v1, kaya puwede mong ikumpara ang mga model ng BroadNet sa isa’t isa, o sa mga model na gamit mo na, mula sa iisang YAML file. Sariling site ng BroadNet ang BroadRouter; sinusundan ng gabay na ito ang OpenAI provider docs ng promptfoo sa release 0.125.1.

I-set up

npm install -g promptfoo     # or: npx promptfoo@latest
export BROADNET_API_KEY='your-broadnet-key'

promptfooconfig.yaml

description: BroadNet model comparison
prompts:
  - 'What is the capital of Saudi Arabia? Answer in one sentence.'
providers:
  - id: openai:chat:broadnet/glm-5.3
    label: GLM 5.3
    config:
      apiBaseUrl: https://inference.broadnet.ai/v1
      apiKeyEnvar: BROADNET_API_KEY
      max_tokens: 4000
  - id: openai:chat:broadnet/deepseek-v4.1-flash
    label: DeepSeek V4.1 Flash
    config:
      apiBaseUrl: https://inference.broadnet.ai/v1
      apiKeyEnvar: BROADNET_API_KEY
      omitDefaults: true
tests:
  - assert:
      - type: icontains
        value: Riyadh

Sa totoong config, karaniwang nasa tests.vars ang mga test input at tinutukoy sa prompt gamit ang double-brace template syntax ng promptfoo. Fixed ang isang ito para tumakbo ito nang eksakto kung paano isinulat.

Patakbuhin ito:

promptfoo eval
promptfoo view   # side-by-side results in the browser

Ano ang ginagawa ng bawat setting

  • openai:chat: kasama ang BroadNet ID. Lahat ng nasa likod ng openai:chat: ay ang model ID na ipinapadala, kaya panatilihin ang broadnet/ prefix. Ang tahasang chat na bahagi ang nagpi-pin sa Chat Completions endpoint; hindi sine-serve ng BroadNet ang Responses API.
  • apiBaseUrl ay ang base URL na may /v1, pero walang /chat/completions. Ang promptfoo na ang nagdadagdag ng path.
  • apiKeyEnvar ang nagpapangalan sa variable na may laman ng BroadNet key mo. Hindi babagsak ang promptfoo sa OPENAI_API_KEY kung wala ito.
  • max_tokens. Ang default ng promptfoo para sa mga non-reasoning request ay temperature: 0 at 1,024-token na limit. Nagre-reason muna bago sumagot ang mga DeepSeek, GLM at Qwen model ng BroadNet, kaya puwedeng magresulta ang 1,024 sa walang lamang sagot. Mag-set ng mas mataas na limit, gaya ng sa unang provider.
  • omitDefaults: true ang nag-aalis ng default na temperature at limit ng promptfoo, gaya ng sa ikalawang provider. Wala nang output limit mula sa promptfoo ang request.

Mga model-graded assertion

Hindi naaapply ang provider settings sa mga grader gaya ng llm-rubric. Para mag-grade gamit ang isang BroadNet model, idagdag itong muli para sa grader:

defaultTest:
  options:
    provider:
      id: openai:chat:broadnet/glm-5.3
      config:
        apiBaseUrl: https://inference.broadnet.ai/v1
        apiKeyEnvar: BROADNET_API_KEY
        max_tokens: 4000

Aling mga model ang ikukumpara

Model Bagay para sa
broadnet/glm-5.3 Mga test sa tool calling at structured output
broadnet/qwen3.8-27b Mga test na may larawan, Arabic na teksto o tools
broadnet/deepseek-v4.1-flash Mga test na mahaba ang context at sensitibo sa gastos
broadnet/gemma-4-26b-a4b Libreng test gamit ang $5 na panimulang credit

Sa GLM 5.3 at Qwen3.8 27B lang nakalista sa docs ng BroadNet ang tools at structured output. Mga presyo ng bawat model.

Paano namin ito sinubukan

Noong 2026-11-15, nag-install kami ng promptfoo 0.125.1 sa Node 24 at pinatakbo ang promptfoo eval sa isang config na tulad ng nasa itaas, nakaturo sa isang local na mock server na sumusunod sa chat-completions na anyo ng BroadNet. Pumasa ang mga test. Pumunta sa /v1/chat/completions ang mga na-log na request, na hindi nabago ang BroadNet model ID at may Bearer key. Nagpadala ang unang provider ng max_tokens: 4000 at temperature: 0; ang provider na may omitDefaults: true ay model at messages lang ang ipinadala. Nang walang laman ang BROADNET_API_KEY, huminto ang promptfoo na may “Missing BROADNET_API_KEY”. Hindi namin sinubukan ang mga grader, at wala kaming BroadNet key, kaya hindi namin nasubukan ang totoong output ng model.

Troubleshooting

  • Walang laman o putol na output. Taasan ang max_tokens. Bakit walang laman ang mga sagot.
  • 404. Tiyaking nagtatapos sa /v1 ang apiBaseUrl at may broadnet/ prefix pa rin ang model ID pagkatapos ng openai:chat:. Kailangan ng top-up para sa mga bayad na model; broadnet/gemma-4-26b-a4b at ang dalawang Transcribe model lang ang sakop ng $5 na credit.
  • 429 sa malalaking eval. Concurrency na 4 ang ginamit ng promptfoo sa eval namin. Ang isang pay-as-you-go key ay may 30 request kada minuto at 4 na sabay-sabay, kaya ibaba ito gamit ang promptfoo eval -j 1 para sa malalaking test set. Tingnan ang errors and retries.

Mga tanong

openai:chat ba o openai ang dapat kong gamiting provider prefix sa promptfoo?

openai:chat. Sa openai:chat:broadnet/glm-5.3, tinatawag ng promptfoo ang /v1/chat/completions, na siyang sine-serve ng BroadNet. Ayon sa docs ng promptfoo, babagsak din sa Chat Completions ang hindi kilalang pangalan ng model pagkatapos ng simpleng openai prefix, pero hindi umaasa sa patakarang iyon ang tahasang chat prefix.

Bakit naputol ang mga sagot ng BroadNet sa promptfoo?

Nagse-set ang promptfoo ng 1,024-token na output limit bilang default para sa mga non-reasoning request, at ginagamit ng mga DeepSeek, GLM at Qwen model ng BroadNet ang bahagi ng output budget sa reasoning. I-set ang max_tokens sa provider config, o i-set ang omitDefaults sa true.

Babagsak ba ang apiKeyEnvar sa OPENAI_API_KEY?

Hindi. Ayon sa docs ng promptfoo, kung wala ang pinangalanang variable, hindi ito babagsak sa OPENAI_API_KEY. Sa test namin, huminto ito na may "Missing BROADNET_API_KEY".

Puwede bang mag-grade ng llm-rubric assertions ang isang BroadNet model?

Oo, pero ayon sa docs ng promptfoo, hindi naaapply sa mga grader ang provider settings. Hiwalay na i-set ang grader sa ilalim ng defaultTest.options.provider na may parehong id at config.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity