---
title: "promptfoo openai:chat प्रोवाइडर, कस्टम apiBaseUrl के साथ"
description: "openai:chat प्रोवाइडर, apiBaseUrl और apiKeyEnvar से BroadNet Inference पर promptfoo evals और मॉडलों के आमने-सामने टेस्ट चलाएँ, ग्रेडर के साथ।"
url: https://broadrouter.com/hi/guides/promptfoo-openai-compatible/
lang: hi
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

यह पेज अंग्रेज़ी से AI की मदद से अनुवाद किया गया है। [अंग्रेज़ी मूल पढ़ें](https://broadrouter.com/guides/promptfoo-openai-compatible/) (2026-11-16 को अपडेट किया गया).

# promptfoo से BroadNet मॉडल का इवैल्युएशन करें

अपडेट किया गया 2026-11-16

promptfooconfig.yaml में openai:chat:broadnet/glm-5.3 id वाला एक प्रोवाइडर जोड़ें, जिसके config में apiBaseUrl हो https://inference.broadnet.ai/v1 और apiKeyEnvar हो BROADNET\_API\_KEY। openai:chat प्रीफ़िक्स रखें, ताकि promptfoo हमेशा Chat Completions कॉल करे, जो BroadNet देता है। max\_tokens ख़ुद सेट करें, क्योंकि promptfoo की डिफ़ॉल्ट आउटपुट सीमा 1,024 टोकन है।

promptfoo, प्रॉम्प्ट टेस्ट करने, मॉडलों की तुलना करने और LLM ऐप की red-teaming के लिए एक ओपन-सोर्स CLI है। इसका OpenAI प्रोवाइडर `apiBaseUrl` के ज़रिए OpenAI-कम्पैटिबल गेटवे के साथ काम करता है। BroadNet Inference `https://inference.broadnet.ai/v1` पर chat completions देता है, इसलिए आप एक ही YAML फ़ाइल से BroadNet के मॉडलों की आपस में, या उन मॉडलों से जो आप पहले से इस्तेमाल करते हैं, तुलना कर सकते हैं। BroadRouter, BroadNet की अपनी साइट है। यह गाइड रिलीज़ 0.125.1 के समय के promptfoo के OpenAI प्रोवाइडर डॉक्स के अनुसार है।

## सेटअप

```bash
npm install -g promptfoo     # or: npx promptfoo@latest
export BROADNET_API_KEY='your-broadnet-key'
```

## promptfooconfig.yaml

```yaml
description: BroadNet model comparison
prompts:
  - 'What is the capital of Saudi Arabia? Answer in one sentence.'
providers:
  - id: openai:chat:broadnet/glm-5.3
    label: GLM 5.3
    config:
      apiBaseUrl: https://inference.broadnet.ai/v1
      apiKeyEnvar: BROADNET_API_KEY
      max_tokens: 4000
  - id: openai:chat:broadnet/deepseek-v4.1-flash
    label: DeepSeek V4.1 Flash
    config:
      apiBaseUrl: https://inference.broadnet.ai/v1
      apiKeyEnvar: BROADNET_API_KEY
      omitDefaults: true
tests:
  - assert:
      - type: icontains
        value: Riyadh
```

असली कॉन्फ़िग में टेस्ट इनपुट आम तौर पर `tests.vars` में रखे जाते हैं और प्रॉम्प्ट में promptfoo के डबल-ब्रेस टेम्पलेट सिंटैक्स से इस्तेमाल होते हैं। हमने यह कॉन्फ़िग फ़िक्स रखा है, ताकि यह जैसा लिखा है वैसा ही चल जाए।

इसे चलाएँ:

```bash
promptfoo eval
promptfoo view   # side-by-side results in the browser
```

## हर सेटिंग क्या करती है

-   **`openai:chat:` और उसके बाद BroadNet ID.** `openai:chat:` के बाद का पूरा हिस्सा भेजा जाने वाला मॉडल ID है, इसलिए `broadnet/` प्रीफ़िक्स रखें। साफ़ लिखा `chat` हिस्सा Chat Completions एंडपॉइंट तय कर देता है; BroadNet, Responses API नहीं देता।
-   **`apiBaseUrl`** वह base URL है जिसमें `/v1` हो, लेकिन `/chat/completions` नहीं। पाथ promptfoo ख़ुद जोड़ता है।
-   **`apiKeyEnvar`** उस वेरिएबल का नाम है जिसमें आपकी BroadNet key है। यह न मिले, तो promptfoo `OPENAI_API_KEY` पर वापस नहीं जाता।
-   **`max_tokens`**. non-reasoning अनुरोधों के लिए promptfoo के डिफ़ॉल्ट `temperature: 0` और 1,024 टोकन की सीमा हैं। BroadNet के DeepSeek, GLM और Qwen मॉडल जवाब देने से पहले रीज़निंग करते हैं, इसलिए 1,024 पर ख़ाली जवाब आ सकते हैं। पहले प्रोवाइडर की तरह ज़्यादा सीमा सेट करें।
-   **`omitDefaults: true`** promptfoo का डिफ़ॉल्ट temperature और सीमा हटा देता है, जैसा दूसरे प्रोवाइडर में है। तब अनुरोध में promptfoo की ओर से कोई आउटपुट सीमा नहीं होती।

## मॉडल से ग्रेड होने वाले assertions

प्रोवाइडर की सेटिंग `llm-rubric` जैसे ग्रेडर पर लागू नहीं होतीं। BroadNet मॉडल से ग्रेड करने के लिए उसे ग्रेडर के लिए फिर से जोड़ें:

```yaml
defaultTest:
  options:
    provider:
      id: openai:chat:broadnet/glm-5.3
      config:
        apiBaseUrl: https://inference.broadnet.ai/v1
        apiKeyEnvar: BROADNET_API_KEY
        max_tokens: 4000
```

## किन मॉडलों की तुलना करें

| मॉडल | किसके लिए अच्छा |
| --- | --- |
| `broadnet/glm-5.3` | टूल कॉलिंग और स्ट्रक्चर्ड आउटपुट के टेस्ट |
| `broadnet/qwen3.8-27b` | इमेज, अरबी टेक्स्ट या टूल वाले टेस्ट |
| `broadnet/deepseek-v4.1-flash` | लंबे कॉन्टेक्स्ट और लागत के प्रति संवेदनशील टेस्ट |
| `broadnet/gemma-4-26b-a4b` | $5 के शुरुआती क्रेडिट पर मुफ़्त टेस्ट |

BroadNet के डॉक्स टूल और स्ट्रक्चर्ड आउटपुट सिर्फ़ GLM 5.3 और Qwen3.8 27B के लिए सूचीबद्ध करते हैं। [हर मॉडल की कीमतें](https://broadrouter.com/hi/pricing/)।

## हमने इसे कैसे टेस्ट किया

2026-11-15 को हमने Node 24 के साथ promptfoo 0.125.1 इंस्टॉल किया और ऊपर जैसे कॉन्फ़िग पर `promptfoo eval` चलाया, जो एक लोकल मॉक सर्वर की ओर था, जो BroadNet के chat-completions फ़ॉर्मैट में बात करता है। टेस्ट पास हुए। लॉग किए गए अनुरोध `/v1/chat/completions` पर गए, BroadNet मॉडल ID बिना बदलाव के और Bearer key के साथ। पहले प्रोवाइडर ने `max_tokens: 4000` और `temperature: 0` भेजा; `omitDefaults: true` वाले प्रोवाइडर ने सिर्फ़ मॉडल और मैसेज भेजे। `BROADNET_API_KEY` सेट न होने पर promptfoo “Missing BROADNET\_API\_KEY” के साथ रुक गया। हमने ग्रेडर टेस्ट नहीं किए, और हमारे पास BroadNet key नहीं थी, इसलिए असली मॉडल आउटपुट टेस्ट नहीं किया।

## समस्या निवारण

-   **ख़ाली या कटे हुए आउटपुट.** `max_tokens` बढ़ाएँ। [जवाब ख़ाली क्यों आते हैं](https://broadrouter.com/hi/guides/reasoning-tokens-empty-response/)।
-   **404.** जाँचें कि `apiBaseUrl` का अंत `/v1` पर है और `openai:chat:` के बाद वाले मॉडल ID में `broadnet/` प्रीफ़िक्स है। पेड मॉडल के लिए टॉप-अप चाहिए; $5 का क्रेडिट सिर्फ़ `broadnet/gemma-4-26b-a4b` और दोनों Transcribe मॉडल को कवर करता है।
-   **बड़े evals के दौरान 429.** promptfoo ने हमारा eval 4 की concurrency पर चलाया। उपयोग के अनुसार भुगतान वाली key प्रति मिनट 30 अनुरोध और एक साथ 4 चालू अनुरोधों की अनुमति देती है, इसलिए बड़े टेस्ट सेट के लिए इसे `promptfoo eval -j 1` से कम करें। [एरर और रीट्राई](https://broadrouter.com/hi/guides/errors-and-retries/) देखें।

## इस गाइड के शब्द

[कॉन्करेंसी (concurrency)](https://broadrouter.com/hi/glossary/concurrency/)

कॉन्करेंसी, किसी क्लाइंट के एक ही समय पर चल रहे (in-flight) अनुरोधों की संख्या है। LLM API अक्सर इसकी सीमा हर key या प्लान पर, प्रति मिनट अनुरोधों से अलग रखते हैं, क्योंकि हर खुला अनुरोध जवाब पूरा होने तक GPU क्षमता घेरे रहता है।

[उपयोग के अनुसार भुगतान (pay-as-you-go)](https://broadrouter.com/hi/glossary/pay-as-you-go/)

उपयोग के अनुसार भुगतान (pay-as-you-go) एक प्राइसिंग मॉडल है जिसमें आप सिर्फ़ उतना देते हैं जितना इस्तेमाल करते हैं, जिसे टोकन, अनुरोध या ऑडियो मिनट जैसी इकाइयों में मापा जाता है, बिना सब्सक्रिप्शन या न्यूनतम प्रतिबद्धता के। ज़्यादातर LLM API इसी तरह बिल बनाते हैं, प्रीपेड बैलेंस या समय-समय पर बनने वाले इनवॉइस से।

[Eval (LLM इवैल्यूएशन)](https://broadrouter.com/hi/glossary/eval/)

Eval (evaluation का छोटा रूप) किसी लैंग्वेज मॉडल या प्रॉम्प्ट का दोहराने लायक़ टेस्ट है: इनपुट का एक तय सेट, अच्छे आउटपुट का वर्णन, और एक ग्रेडर (कोड, इंसान या दूसरा मॉडल) जो हर आउटपुट को स्कोर करता है, ताकि अलग-अलग वर्ज़न की तुलना हो सके।

[टेम्परेचर (temperature)](https://broadrouter.com/hi/glossary/temperature/)

टेम्परेचर एक सैंपलिंग पैरामीटर है जो तय करता है कि लैंग्वेज मॉडल का आउटपुट कितना रैंडम होगा। मॉडल अपने टोकन स्कोर को प्रायिकता में बदलने से पहले टेम्परेचर से भाग देता है: कम वैल्यू पर सबसे संभावित टोकन हावी रहता है, ज़्यादा वैल्यू पर वितरण सपाट हो जाता है और कम संभावित टोकन ज़्यादा बार चुने जाते हैं।

[स्ट्रक्चर्ड आउटपुट (structured output)](https://broadrouter.com/hi/glossary/structured-output/)

स्ट्रक्चर्ड आउटपुट LLM API का एक फ़ीचर है जो मॉडल के जवाब को डेवलपर के तय फ़ॉर्मैट, आम तौर पर JSON Schema, तक सीमित करता है, ताकि कोड उसे भरोसे से पार्स कर सके। यह JSON mode से सख़्त है, जो मान्य JSON की गारंटी देता है, लेकिन किसी ख़ास ढाँचे की नहीं।

[base URL](https://broadrouter.com/hi/glossary/base-url/)

base URL किसी API का तय मूल पता है, जैसे https://api.example.com/v1, जिसे क्लाइंट /chat/completions जैसे हर एंडपॉइंट पाथ के आगे जोड़ता है। OpenAI-compatible SDK में base URL को API key और मॉडल ID के साथ बदलने से वही कोड किसी दूसरे प्रोवाइडर से जुड़ जाता है।

[Chat Completions API](https://broadrouter.com/hi/glossary/chat-completions-api/)

Chat Completions API, OpenAI का HTTP एंडपॉइंट POST /v1/chat/completions है, जो एक मॉडल का नाम और रोल वाले मैसेज की सूची लेता है और मॉडल का अगला मैसेज लौटाता है। इसके अनुरोध और जवाब का ढाँचा वह आम फ़ॉर्मैट बन गया जिसे OpenAI-कम्पैटिबल प्रोवाइडर और SDK अपनाते हैं।

[टूल कॉलिंग (tool calling)](https://broadrouter.com/hi/glossary/tool-calling/)

टूल कॉलिंग, जिसे function calling भी कहते हैं, LLM API की वह सुविधा है जिसमें मॉडल डेवलपर के तय किए किसी फ़ंक्शन को चलाने का एक स्ट्रक्चर्ड अनुरोध, JSON आर्ग्युमेंट के साथ, लौटाता है। ऐप्लिकेशन फ़ंक्शन चलाकर नतीजा वापस भेजता है; मॉडल ख़ुद कभी कोड नहीं चलाता।

## अक्सर पूछे जाने वाले सवाल

### promptfoo प्रोवाइडर के प्रीफ़िक्स में openai:chat लिखूँ या openai?

openai:chat। openai:chat:broadnet/glm-5.3 के साथ promptfoo, /v1/chat/completions कॉल करता है, जो BroadNet देता है। promptfoo के डॉक्स कहते हैं कि सिर्फ़ openai प्रीफ़िक्स के बाद अनजाना मॉडल नाम भी Chat Completions पर चला जाता है, लेकिन साफ़ chat प्रीफ़िक्स उस नियम पर निर्भर नहीं रहता।

### promptfoo में BroadNet के जवाब बीच में क्यों कट जाते हैं?

non-reasoning अनुरोधों के लिए promptfoo डिफ़ॉल्ट रूप से 1,024 टोकन की आउटपुट सीमा लगाता है, और BroadNet के DeepSeek, GLM और Qwen मॉडल आउटपुट बजट का कुछ हिस्सा रीज़निंग पर ख़र्च करते हैं। प्रोवाइडर config में max\_tokens सेट करें, या omitDefaults को true करें।

### क्या apiKeyEnvar न मिलने पर OPENAI\_API\_KEY इस्तेमाल होता है?

नहीं। promptfoo के डॉक्स कहते हैं कि बताया गया वेरिएबल न मिले, तो वह OPENAI\_API\_KEY पर वापस नहीं जाता। हमारे टेस्ट में यह "Missing BROADNET\_API\_KEY" के साथ रुक गया।

### क्या BroadNet मॉडल llm-rubric assertions को ग्रेड कर सकता है?

हाँ, लेकिन promptfoo के डॉक्स कहते हैं कि प्रोवाइडर की सेटिंग ग्रेडर पर लागू नहीं होतीं। ग्रेडर को defaultTest.options.provider में उसी id और config के साथ अलग से सेट करें।

## संबंधित गाइड

-   [curl से BroadNet Inference को पहला अनुरोध](https://broadrouter.com/hi/guides/curl-quickstart/)
-   [BroadNet Inference के साथ OpenAI Node.js SDK इस्तेमाल करें](https://broadrouter.com/hi/guides/openai-node-sdk/)
-   [रीज़निंग मॉडल ख़ाली जवाब क्यों लौटाता है](https://broadrouter.com/hi/guides/reasoning-tokens-empty-response/)
-   [BroadNet Inference के एरर कोड और रीट्राई कब करें](https://broadrouter.com/hi/guides/errors-and-retries/)
-   [BroadNet Inference के साथ काम करने वाले सभी टूल (अंग्रेज़ी में)](https://broadrouter.com/integrations/): SDK, कोडिंग एजेंट, चैट UI और ऑटोमेशन टूल, हर एक की सटीक सेटिंग के साथ

इसे अपने असली वर्कलोड पर आज़माएँ। नए अकाउंट Gemma और ट्रांसक्रिप्शन के लिए US$5 के क्रेडिट से शुरू होते हैं। DeepSeek, GLM, और Qwen3.8 के लिए टॉप-अप ज़रूरी है।

[शुरू करें](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=hi-guides-promptfoo-openai-compatible&utm_content=page-cta) ·

**स्रोत**

-   [promptfoo डॉक्स, OpenAI प्रोवाइडर (OpenAI-कम्पैटिबल गेटवे) (2026-11-15 को जाँचा गया)](https://www.promptfoo.dev/docs/providers/openai/)
-   [GitHub पर promptfoo, रिलीज़ 0.125.1, 2026-10-25 (2026-11-15 को जाँचा गया)](https://github.com/promptfoo/promptfoo/releases/tag/0.125.1)
-   [BroadNet Inference API रेफ़रंस (2026-11-15 को जाँचा गया) (अंग्रेज़ी में)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=hi-guides-promptfoo-openai-compatible&utm_content=sources)
