Haystack, deepset का RAG पाइपलाइन और एजेंट के लिए ओपन-सोर्स फ़्रेमवर्क है। इसका OpenAIChatGenerator किसी भी OpenAI-कम्पैटिबल सर्वर से api_base_url के ज़रिए बात करता है। BroadNet Inference https://inference.broadnet.ai/v1 पर स्टैंडर्ड chat completions देता है, इसलिए यही कंपोनेंट इस्तेमाल करें। BroadRouter, BroadNet की अपनी साइट है। यह गाइड Haystack 3.5 के डॉक्स के अनुसार है।
इंस्टॉल करें
pip install haystack-ai
export BROADNET_API_KEY='your-broadnet-key'
कनेक्ट करें
from haystack.components.generators.chat import OpenAIChatGenerator
from haystack.dataclasses import ChatMessage
from haystack.utils import Secret
generator = OpenAIChatGenerator(
api_base_url="https://inference.broadnet.ai/v1",
api_key=Secret.from_env_var("BROADNET_API_KEY"),
model="broadnet/glm-5.3",
generation_kwargs={"max_tokens": 4000},
)
reply = generator.run([ChatMessage.from_user("Name three uses of a RAG pipeline.")])
print(reply["replies"][0].text)
modelबिना बदलाव के भेजा जाता है। BroadNet ID उसकेbroadnet/प्रीफ़िक्स के साथ इस्तेमाल करें।api_keyएक HaystackSecretहै। इसके बिना HaystackOPENAI_API_KEYढूँढता है।generation_kwargschat completion अनुरोध में भेजे जाते हैं।max_tokensइतना रखें कि रीज़निंग के लिए जगह बचे (नीचे देखें)।
जवाब स्ट्रीम करें
from haystack.components.generators.utils import print_streaming_chunk
generator = OpenAIChatGenerator(
api_base_url="https://inference.broadnet.ai/v1",
api_key=Secret.from_env_var("BROADNET_API_KEY"),
model="broadnet/glm-5.3",
streaming_callback=print_streaming_chunk,
)
तब Haystack stream: true के साथ stream_options.include_usage भेजता है, इसलिए टोकन की गिनती आख़िरी चंक में आती है। BroadNet के डॉक्स भी यही विकल्प बताते हैं।
टूल और एजेंट
from haystack.components.agents import Agent
from haystack.tools import Tool
def get_weather(city: str) -> str:
return f"21C in {city}"
weather = Tool(
name="get_weather",
description="Get the weather for a city",
parameters={"type": "object", "properties": {"city": {"type": "string"}}, "required": ["city"]},
function=get_weather,
)
chat = OpenAIChatGenerator(
api_base_url="https://inference.broadnet.ai/v1",
api_key=Secret.from_env_var("BROADNET_API_KEY"),
model="broadnet/glm-5.3",
tools=[weather],
)
agent = Agent(chat_generator=chat, tools=[weather])
result = agent.run(messages=[ChatMessage.from_user("What's the weather in Riyadh?")])
print(result["messages"][-1].text)
BroadNet के डॉक्स टूल और स्ट्रक्चर्ड आउटपुट सिर्फ़ broadnet/glm-5.3 और broadnet/qwen3.8-27b के लिए सूचीबद्ध करते हैं। जब तक आपने स्ट्रिक्ट स्कीमा टेस्ट न किए हों, tools_strict को उसके डिफ़ॉल्ट False पर रहने दें।
कौन-सा मॉडल चुनें
| पाइपलाइन | मॉडल |
|---|---|
| एजेंट और टूल कॉल | broadnet/glm-5.3 |
| स्कैन किए पन्नों या अरबी टेक्स्ट पर RAG, टूल के साथ | broadnet/qwen3.8-27b |
| फ़्लैट कीमत वाले प्लान पर लंबे कॉन्टेक्स्ट वाले जवाब | broadnet/deepseek-v4.1-flash |
| मुफ़्त शुरुआती क्रेडिट पर आज़माना | broadnet/gemma-4-26b-a4b (32,768 टोकन का कॉन्टेक्स्ट) |
रिट्रीव किया गया कॉन्टेक्स्ट बड़ा हो सकता है। GLM 5.3 और DeepSeek V4.1 Flash 1,048,576 टोकन का कॉन्टेक्स्ट लेते हैं; Gemma का 32,768 जल्दी भर जाता है। हर मॉडल की कीमतें।
हमने इसे कैसे टेस्ट किया
2026-11-15 को हमने एक साफ़ वर्चुअल एनवायरनमेंट में haystack-ai 3.5.0 इंस्टॉल किया और ऊपर के सादे, स्ट्रीमिंग, टूल और Agent उदाहरण एक लोकल मॉक सर्वर पर चलाए, जो BroadNet के chat-completions ढाँचे में जवाब देता है। हमने लॉग किए गए अनुरोध पढ़े। सभी /v1/chat/completions पर गए, मॉडल ID बिना बदलाव के, Bearer key, generation_kwargs से आया max_tokens और, टूल के मामले में, फ़ंक्शन स्कीमा के साथ। Haystack n: 1 भी भेजता है। हमारे पास BroadNet key नहीं थी, इसलिए हमने असली मॉडल आउटपुट टेस्ट नहीं किया।
समस्या का समाधान
- 401. key ग़लत है, एक्सपायर हो गई है या उसका अलाउंस ख़त्म हो गया है, या पाइपलाइन चलाने वाली प्रोसेस में
BROADNET_API_KEYसेट नहीं है। - 404.
api_base_urlके अंत में/v1होना चाहिए, और मॉडल ID, BroadNet के ID से हूबहू मिलना चाहिए। पेड मॉडल के लिए टॉप-अप चाहिए; $5 क्रेडिट पर सिर्फ़broadnet/gemma-4-26b-a4bऔर दो Transcribe मॉडल चलते हैं। - ख़ाली जवाब. DeepSeek V4.1 Flash, GLM 5.3 और Qwen3.8 27B जवाब देने से पहले रीज़निंग करते हैं, और रीज़निंग
max_tokensमें गिनी जाती है। इसे बढ़ाएँ। जवाब ख़ाली क्यों आते हैं। - बैच इंडेक्सिंग या इवैल्युएशन में 429. उपयोग के अनुसार भुगतान वाली key प्रति मिनट 30 अनुरोध और एक साथ 4 चालू अनुरोध की अनुमति देती है। जनरेटर का
max_retriesइस्तेमाल करें और एरर और रीट्राई देखें।
