promptfoo, प्रॉम्प्ट टेस्ट करने, मॉडलों की तुलना करने और LLM ऐप की red-teaming के लिए एक ओपन-सोर्स CLI है। इसका OpenAI प्रोवाइडर apiBaseUrl के ज़रिए OpenAI-कम्पैटिबल गेटवे के साथ काम करता है। BroadNet Inference https://inference.broadnet.ai/v1 पर chat completions देता है, इसलिए आप एक ही YAML फ़ाइल से BroadNet के मॉडलों की आपस में, या उन मॉडलों से जो आप पहले से इस्तेमाल करते हैं, तुलना कर सकते हैं। BroadRouter, BroadNet की अपनी साइट है। यह गाइड रिलीज़ 0.125.1 के समय के promptfoo के OpenAI प्रोवाइडर डॉक्स के अनुसार है।
सेटअप
npm install -g promptfoo # or: npx promptfoo@latest
export BROADNET_API_KEY='your-broadnet-key'
promptfooconfig.yaml
description: BroadNet model comparison
prompts:
- 'What is the capital of Saudi Arabia? Answer in one sentence.'
providers:
- id: openai:chat:broadnet/glm-5.3
label: GLM 5.3
config:
apiBaseUrl: https://inference.broadnet.ai/v1
apiKeyEnvar: BROADNET_API_KEY
max_tokens: 4000
- id: openai:chat:broadnet/deepseek-v4.1-flash
label: DeepSeek V4.1 Flash
config:
apiBaseUrl: https://inference.broadnet.ai/v1
apiKeyEnvar: BROADNET_API_KEY
omitDefaults: true
tests:
- assert:
- type: icontains
value: Riyadh
असली कॉन्फ़िग में टेस्ट इनपुट आम तौर पर tests.vars में रखे जाते हैं और प्रॉम्प्ट में promptfoo के डबल-ब्रेस टेम्पलेट सिंटैक्स से इस्तेमाल होते हैं। हमने यह कॉन्फ़िग फ़िक्स रखा है, ताकि यह जैसा लिखा है वैसा ही चल जाए।
इसे चलाएँ:
promptfoo eval
promptfoo view # side-by-side results in the browser
हर सेटिंग क्या करती है
openai:chat:और उसके बाद BroadNet ID.openai:chat:के बाद का पूरा हिस्सा भेजा जाने वाला मॉडल ID है, इसलिएbroadnet/प्रीफ़िक्स रखें। साफ़ लिखाchatहिस्सा Chat Completions एंडपॉइंट तय कर देता है; BroadNet, Responses API नहीं देता।apiBaseUrlवह base URL है जिसमें/v1हो, लेकिन/chat/completionsनहीं। पाथ promptfoo ख़ुद जोड़ता है।apiKeyEnvarउस वेरिएबल का नाम है जिसमें आपकी BroadNet key है। यह न मिले, तो promptfooOPENAI_API_KEYपर वापस नहीं जाता।max_tokens. non-reasoning अनुरोधों के लिए promptfoo के डिफ़ॉल्टtemperature: 0और 1,024 टोकन की सीमा हैं। BroadNet के DeepSeek, GLM और Qwen मॉडल जवाब देने से पहले रीज़निंग करते हैं, इसलिए 1,024 पर ख़ाली जवाब आ सकते हैं। पहले प्रोवाइडर की तरह ज़्यादा सीमा सेट करें।omitDefaults: truepromptfoo का डिफ़ॉल्ट temperature और सीमा हटा देता है, जैसा दूसरे प्रोवाइडर में है। तब अनुरोध में promptfoo की ओर से कोई आउटपुट सीमा नहीं होती।
मॉडल से ग्रेड होने वाले assertions
प्रोवाइडर की सेटिंग llm-rubric जैसे ग्रेडर पर लागू नहीं होतीं। BroadNet मॉडल से ग्रेड करने के लिए उसे ग्रेडर के लिए फिर से जोड़ें:
defaultTest:
options:
provider:
id: openai:chat:broadnet/glm-5.3
config:
apiBaseUrl: https://inference.broadnet.ai/v1
apiKeyEnvar: BROADNET_API_KEY
max_tokens: 4000
किन मॉडलों की तुलना करें
| मॉडल | किसके लिए अच्छा |
|---|---|
broadnet/glm-5.3 |
टूल कॉलिंग और स्ट्रक्चर्ड आउटपुट के टेस्ट |
broadnet/qwen3.8-27b |
इमेज, अरबी टेक्स्ट या टूल वाले टेस्ट |
broadnet/deepseek-v4.1-flash |
लंबे कॉन्टेक्स्ट और लागत के प्रति संवेदनशील टेस्ट |
broadnet/gemma-4-26b-a4b |
$5 के शुरुआती क्रेडिट पर मुफ़्त टेस्ट |
BroadNet के डॉक्स टूल और स्ट्रक्चर्ड आउटपुट सिर्फ़ GLM 5.3 और Qwen3.8 27B के लिए सूचीबद्ध करते हैं। हर मॉडल की कीमतें।
हमने इसे कैसे टेस्ट किया
2026-11-15 को हमने Node 24 के साथ promptfoo 0.125.1 इंस्टॉल किया और ऊपर जैसे कॉन्फ़िग पर promptfoo eval चलाया, जो एक लोकल मॉक सर्वर की ओर था, जो BroadNet के chat-completions फ़ॉर्मैट में बात करता है। टेस्ट पास हुए। लॉग किए गए अनुरोध /v1/chat/completions पर गए, BroadNet मॉडल ID बिना बदलाव के और Bearer key के साथ। पहले प्रोवाइडर ने max_tokens: 4000 और temperature: 0 भेजा; omitDefaults: true वाले प्रोवाइडर ने सिर्फ़ मॉडल और मैसेज भेजे। BROADNET_API_KEY सेट न होने पर promptfoo “Missing BROADNET_API_KEY” के साथ रुक गया। हमने ग्रेडर टेस्ट नहीं किए, और हमारे पास BroadNet key नहीं थी, इसलिए असली मॉडल आउटपुट टेस्ट नहीं किया।
समस्या निवारण
- ख़ाली या कटे हुए आउटपुट.
max_tokensबढ़ाएँ। जवाब ख़ाली क्यों आते हैं। - 404. जाँचें कि
apiBaseUrlका अंत/v1पर है औरopenai:chat:के बाद वाले मॉडल ID मेंbroadnet/प्रीफ़िक्स है। पेड मॉडल के लिए टॉप-अप चाहिए; $5 का क्रेडिट सिर्फ़broadnet/gemma-4-26b-a4bऔर दोनों Transcribe मॉडल को कवर करता है। - बड़े evals के दौरान 429. promptfoo ने हमारा eval 4 की concurrency पर चलाया। उपयोग के अनुसार भुगतान वाली key प्रति मिनट 30 अनुरोध और एक साथ 4 चालू अनुरोधों की अनुमति देती है, इसलिए बड़े टेस्ट सेट के लिए इसे
promptfoo eval -j 1से कम करें। एरर और रीट्राई देखें।
