BroadRouter
Magsimula

Haystack pipelines at agents gamit ang BroadNet Inference

Na-update

I-install ang haystack-ai at gumawa ng OpenAIChatGenerator na may api_base_url na https://inference.broadnet.ai/v1, api_key na Secret na binabasa mula sa BROADNET_API_KEY, at model na BroadNet ID gaya ng broadnet/glm-5.3. Gamitin ito sa pipelines o sa isang Haystack Agent. Ilagay ang max_tokens sa generation_kwargs, at gamitin ang GLM 5.3 o Qwen3.8 27B kapag may tools ang generator.

Open-source na framework ng deepset ang Haystack para sa mga RAG pipeline at agent. Nakikipag-usap ang OpenAIChatGenerator nito sa kahit anong OpenAI-compatible na server sa pamamagitan ng api_base_url. Karaniwang chat completions ang sine-serve ng BroadNet Inference sa https://inference.broadnet.ai/v1, kaya iyon ang component na gagamitin. Ang BroadRouter ay sariling site ng BroadNet; sinusundan nito ang docs ng Haystack 3.5.

I-install

pip install haystack-ai
export BROADNET_API_KEY='your-broadnet-key'

Kumonekta

from haystack.components.generators.chat import OpenAIChatGenerator
from haystack.dataclasses import ChatMessage
from haystack.utils import Secret

generator = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    generation_kwargs={"max_tokens": 4000},
)

reply = generator.run([ChatMessage.from_user("Name three uses of a RAG pipeline.")])
print(reply["replies"][0].text)
  • model ay ipinapadala nang walang pagbabago. Gamitin ang BroadNet ID kasama ang broadnet/ prefix nito.
  • api_key ay isang Haystack Secret. Kapag wala ito, OPENAI_API_KEY ang hahanapin ng Haystack.
  • generation_kwargs ay ipinapasa sa chat completion request. I-set ang max_tokens nang sapat na mataas para sa reasoning (tingnan sa ibaba).

I-stream ang sagot

from haystack.components.generators.utils import print_streaming_chunk

generator = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    streaming_callback=print_streaming_chunk,
)

Pagkatapos, nagpapadala ang Haystack ng stream: true kasama ang stream_options.include_usage, kaya dumarating ang token counts sa huling chunk. Inilalarawan din ng docs ng BroadNet ang parehong option.

Tools at agents

from haystack.components.agents import Agent
from haystack.tools import Tool

def get_weather(city: str) -> str:
    return f"21C in {city}"

weather = Tool(
    name="get_weather",
    description="Get the weather for a city",
    parameters={"type": "object", "properties": {"city": {"type": "string"}}, "required": ["city"]},
    function=get_weather,
)

chat = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    tools=[weather],
)
agent = Agent(chat_generator=chat, tools=[weather])
result = agent.run(messages=[ChatMessage.from_user("What's the weather in Riyadh?")])
print(result["messages"][-1].text)

Sa broadnet/glm-5.3 at broadnet/qwen3.8-27b lang nakalista ang tools at structured output sa docs ng BroadNet. Panatilihin ang tools_strict sa default nitong False maliban kung nasubok mo na ang strict schemas.

Aling model ang pipiliin

Pipeline Model
Mga agent at tool call broadnet/glm-5.3
RAG sa mga na-scan na page o Arabic na teksto, may tools broadnet/qwen3.8-27b
Pagsagot gamit ang mahabang context sa isang flat-price na plan broadnet/deepseek-v4.1-flash
Pagsubok gamit ang libreng panimulang credit broadnet/gemma-4-26b-a4b (32,768-token na context)

Puwedeng malaki ang retrieved context. 1,048,576 token ng context ang kaya ng GLM 5.3 at DeepSeek V4.1 Flash; mabilis mapuno ang 32,768 ng Gemma. Mga presyo ng bawat model.

Paano namin ito sinubok

Noong 2026-11-15, nag-install kami ng haystack-ai 3.5.0 sa isang malinis na virtual environment at pinatakbo ang plain, streaming, tool at Agent na mga example sa itaas laban sa isang lokal na mock server na sumusunod sa chat-completions na format ng BroadNet. Binasa namin ang mga naka-log na request. Lahat ay pumunta sa /v1/chat/completions nang hindi nagbago ang model ID, may Bearer key, may max_tokens mula sa generation_kwargs at, para sa tools, may function schema. Nagpapadala rin ang Haystack ng n: 1. Wala kaming BroadNet key, kaya hindi namin sinubok ang totoong output ng model.

Troubleshooting

  • 401. Mali, expired o ubos na ang allowance ng key, o hindi naka-set ang BROADNET_API_KEY sa process na nagpapatakbo ng pipeline.
  • 404. Dapat nagtatapos sa /v1 ang api_base_url, at dapat eksaktong tugma ang model ID sa ID ng BroadNet. Kailangan ng top-up para sa mga bayad na model; ang broadnet/gemma-4-26b-a4b at ang dalawang Transcribe model lang ang sakop ng $5 na credit.
  • Walang lamang sagot. Nagre-reason muna bago sumagot ang DeepSeek V4.1 Flash, GLM 5.3 at Qwen3.8 27B, at kasama ang reasoning sa max_tokens. Taasan ito. Bakit walang laman ang mga sagot.
  • 429 sa batch indexing o evaluation. Ang isang pay-as-you-go key ay may 30 request kada minuto at 4 nang sabay-sabay. Gamitin ang max_retries ng generator at tingnan ang errors and retries.

Mga tanong

Aling parameter ng Haystack ang nagse-set ng BroadNet URL?

Ang api_base_url sa OpenAIChatGenerator. Inilalarawan ito ng docs ng Haystack bilang paraan para maabot ang mga custom deployment. I-set ito sa https://inference.broadnet.ai/v1.

Dapat ko bang gamitin ang OpenAIResponsesChatGenerator sa BroadNet?

Hindi. Tinatawag ng component na iyon ang Responses API ng OpenAI, na hindi nakalista sa BroadNet. Gamitin ang OpenAIChatGenerator, na tumatawag ng chat completions.

Bakit pumapalya ang Haystack dahil walang OPENAI_API_KEY?

Secret.from_env_var("OPENAI_API_KEY") ang default ng api_key. Ipasa ang api_key=Secret.from_env_var("BROADNET_API_KEY") para ang BroadNet key mo ang basahin ng Haystack.

Kaya bang tumawag ng tools ng isang Haystack Agent sa BroadNet?

Oo, gamit ang model na may nakalistang tools sa BroadNet, ang GLM 5.3 o Qwen3.8 27B. Sa test namin sa mock server, ipinadala ng Agent ang tool schema sa chat completions at bumalik ang tool call.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity