---
title: "Haystack OpenAIChatGenerator na may custom api_base_url"
description: "Ituro ang OpenAIChatGenerator ng Haystack sa BroadNet Inference gamit ang api_base_url, model ID at Secret key para sa pipelines, tools, streaming at agents."
url: https://broadrouter.com/fil/guides/haystack-openai-compatible/
lang: fil
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Isinalin mula sa Ingles sa tulong ng AI. [Basahin ang orihinal sa Ingles](https://broadrouter.com/guides/haystack-openai-compatible/) (na-update noong 2026-11-16).

# Haystack pipelines at agents gamit ang BroadNet Inference

Na-update 2026-11-16

I-install ang haystack-ai at gumawa ng OpenAIChatGenerator na may api\_base\_url na https://inference.broadnet.ai/v1, api\_key na Secret na binabasa mula sa BROADNET\_API\_KEY, at model na BroadNet ID gaya ng broadnet/glm-5.3. Gamitin ito sa pipelines o sa isang Haystack Agent. Ilagay ang max\_tokens sa generation\_kwargs, at gamitin ang GLM 5.3 o Qwen3.8 27B kapag may tools ang generator.

Open-source na framework ng deepset ang Haystack para sa mga RAG pipeline at agent. Nakikipag-usap ang `OpenAIChatGenerator` nito sa kahit anong OpenAI-compatible na server sa pamamagitan ng `api_base_url`. Karaniwang chat completions ang sine-serve ng BroadNet Inference sa `https://inference.broadnet.ai/v1`, kaya iyon ang component na gagamitin. Ang BroadRouter ay sariling site ng BroadNet; sinusundan nito ang docs ng Haystack 3.5.

## I-install

```bash
pip install haystack-ai
export BROADNET_API_KEY='your-broadnet-key'
```

## Kumonekta

```python
from haystack.components.generators.chat import OpenAIChatGenerator
from haystack.dataclasses import ChatMessage
from haystack.utils import Secret

generator = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    generation_kwargs={"max_tokens": 4000},
)

reply = generator.run([ChatMessage.from_user("Name three uses of a RAG pipeline.")])
print(reply["replies"][0].text)
```

-   **`model`** ay ipinapadala nang walang pagbabago. Gamitin ang BroadNet ID kasama ang `broadnet/` prefix nito.
-   **`api_key`** ay isang Haystack `Secret`. Kapag wala ito, `OPENAI_API_KEY` ang hahanapin ng Haystack.
-   **`generation_kwargs`** ay ipinapasa sa chat completion request. I-set ang `max_tokens` nang sapat na mataas para sa reasoning (tingnan sa ibaba).

## I-stream ang sagot

```python
from haystack.components.generators.utils import print_streaming_chunk

generator = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    streaming_callback=print_streaming_chunk,
)
```

Pagkatapos, nagpapadala ang Haystack ng `stream: true` kasama ang `stream_options.include_usage`, kaya dumarating ang token counts sa huling chunk. Inilalarawan din ng docs ng BroadNet ang parehong option.

## Tools at agents

```python
from haystack.components.agents import Agent
from haystack.tools import Tool

def get_weather(city: str) -> str:
    return f"21C in {city}"

weather = Tool(
    name="get_weather",
    description="Get the weather for a city",
    parameters={"type": "object", "properties": {"city": {"type": "string"}}, "required": ["city"]},
    function=get_weather,
)

chat = OpenAIChatGenerator(
    api_base_url="https://inference.broadnet.ai/v1",
    api_key=Secret.from_env_var("BROADNET_API_KEY"),
    model="broadnet/glm-5.3",
    tools=[weather],
)
agent = Agent(chat_generator=chat, tools=[weather])
result = agent.run(messages=[ChatMessage.from_user("What's the weather in Riyadh?")])
print(result["messages"][-1].text)
```

Sa `broadnet/glm-5.3` at `broadnet/qwen3.8-27b` lang nakalista ang tools at structured output sa docs ng BroadNet. Panatilihin ang `tools_strict` sa default nitong `False` maliban kung nasubok mo na ang strict schemas.

## Aling model ang pipiliin

| Pipeline | Model |
| --- | --- |
| Mga agent at tool call | `broadnet/glm-5.3` |
| RAG sa mga na-scan na page o Arabic na teksto, may tools | `broadnet/qwen3.8-27b` |
| Pagsagot gamit ang mahabang context sa isang flat-price na plan | `broadnet/deepseek-v4.1-flash` |
| Pagsubok gamit ang libreng panimulang credit | `broadnet/gemma-4-26b-a4b` (32,768-token na context) |

Puwedeng malaki ang retrieved context. 1,048,576 token ng context ang kaya ng GLM 5.3 at DeepSeek V4.1 Flash; mabilis mapuno ang 32,768 ng Gemma. [Mga presyo ng bawat model](https://broadrouter.com/fil/pricing/).

## Paano namin ito sinubok

Noong 2026-11-15, nag-install kami ng haystack-ai 3.5.0 sa isang malinis na virtual environment at pinatakbo ang plain, streaming, tool at Agent na mga example sa itaas laban sa isang lokal na mock server na sumusunod sa chat-completions na format ng BroadNet. Binasa namin ang mga naka-log na request. Lahat ay pumunta sa `/v1/chat/completions` nang hindi nagbago ang model ID, may Bearer key, may `max_tokens` mula sa `generation_kwargs` at, para sa tools, may function schema. Nagpapadala rin ang Haystack ng `n: 1`. Wala kaming BroadNet key, kaya hindi namin sinubok ang totoong output ng model.

## Troubleshooting

-   **401.** Mali, expired o ubos na ang allowance ng key, o hindi naka-set ang `BROADNET_API_KEY` sa process na nagpapatakbo ng pipeline.
-   **404.** Dapat nagtatapos sa `/v1` ang `api_base_url`, at dapat eksaktong tugma ang model ID sa ID ng BroadNet. Kailangan ng top-up para sa mga bayad na model; ang `broadnet/gemma-4-26b-a4b` at ang dalawang Transcribe model lang ang sakop ng $5 na credit.
-   **Walang lamang sagot.** Nagre-reason muna bago sumagot ang DeepSeek V4.1 Flash, GLM 5.3 at Qwen3.8 27B, at kasama ang reasoning sa `max_tokens`. Taasan ito. [Bakit walang laman ang mga sagot](https://broadrouter.com/fil/guides/reasoning-tokens-empty-response/).
-   **429 sa batch indexing o evaluation.** Ang isang pay-as-you-go key ay may 30 request kada minuto at 4 nang sabay-sabay. Gamitin ang `max_retries` ng generator at tingnan ang [errors and retries](https://broadrouter.com/fil/guides/errors-and-retries/).

## Mga termino sa gabay na ito

[AI agent](https://broadrouter.com/fil/glossary/agent/)

Ang AI agent ay isang system kung saan ang language model mismo ang nagdidirekta ng mga hakbang nito tungo sa isang layunin: pinipili nito kung aling tools ang tatawagin, binabasa ang mga resulta at umuulit hanggang makabuo ng huling sagot o maabot ang limit. Workflow naman ang karaniwang tawag sa fixed na script na tumatawag sa model sa takdang punto.

[API key](https://broadrouter.com/fil/glossary/api-key/)

Ang API key ay isang lihim na string na kumikilala at nagpapahintulot sa client na tumatawag sa isang API. Kadalasang hinihingi ito ng mga LLM API sa Authorization: Bearer header, at ang sinumang may hawak ng key ay makakagawa ng mga request na sisingilin sa account na may-ari nito.

[Context window](https://broadrouter.com/fil/glossary/context-window/)

Ang context window ay ang pinakamaraming token na kayang hawakan ng isang language model sa iisang request. Sakop nito ang prompt, history ng usapan, tool definitions, mga larawan at ang nabuong output, kasama ang anumang reasoning tokens. Ang hindi kasya ay kailangang bawasan, ibuod o hatiin sa ilang request.

[Tool calling (function calling)](https://broadrouter.com/fil/glossary/tool-calling/)

Ang tool calling, tinatawag ding function calling, ay feature ng LLM API kung saan nagbabalik ang model ng structured na request para magpatakbo ng function na tinukoy ng developer, kasama ang JSON arguments. Ang application ang nagpapatakbo ng function at nagpapadala pabalik ng resulta; hindi kailanman nagpapatakbo ng code ang model mismo.

[Pay-as-you-go](https://broadrouter.com/fil/glossary/pay-as-you-go/)

Ang pay-as-you-go ay paraan ng pagpepresyo kung saan ang nagamit mo lang ang binabayaran mo, sinusukat kada yunit gaya ng token, request o minuto ng audio, nang walang subscription o minimum na commitment. Ganito naniningil ang karamihan ng LLM API, mula sa prepaid na balance o sa pana-panahong invoice.

[Token](https://broadrouter.com/fil/glossary/token/)

Ang token ay ang yunit ng text na binabasa at isinusulat ng isang language model: isang salita, bahagi ng salita, bantas o byte sequence na ginawa ng tokenizer ng model. Sa token binibilang, nililimitahan at kadalasang sinisingil ng mga LLM API ang paggamit.

[Chat Completions API](https://broadrouter.com/fil/glossary/chat-completions-api/)

Ang Chat Completions API ay HTTP endpoint ng OpenAI, POST /v1/chat/completions, na tumatanggap ng pangalan ng model at listahan ng mga message na may role, at ibinabalik ang susunod na message ng model. Ang hugis ng request at response nito ang naging karaniwang format na ginagamit din ng mga OpenAI-compatible na provider at SDK.

[Concurrency](https://broadrouter.com/fil/glossary/concurrency/)

Ang concurrency ay ang bilang ng request na sabay-sabay na in flight mula sa isang client. Madalas itong nililimitahan ng mga LLM API kada key o plan, hiwalay sa requests per minute, dahil humahawak ng GPU capacity ang bawat bukas na request hanggang matapos ang response nito.

## Mga tanong

### Aling parameter ng Haystack ang nagse-set ng BroadNet URL?

Ang api\_base\_url sa OpenAIChatGenerator. Inilalarawan ito ng docs ng Haystack bilang paraan para maabot ang mga custom deployment. I-set ito sa https://inference.broadnet.ai/v1.

### Dapat ko bang gamitin ang OpenAIResponsesChatGenerator sa BroadNet?

Hindi. Tinatawag ng component na iyon ang Responses API ng OpenAI, na hindi nakalista sa BroadNet. Gamitin ang OpenAIChatGenerator, na tumatawag ng chat completions.

### Bakit pumapalya ang Haystack dahil walang OPENAI\_API\_KEY?

Secret.from\_env\_var("OPENAI\_API\_KEY") ang default ng api\_key. Ipasa ang api\_key=Secret.from\_env\_var("BROADNET\_API\_KEY") para ang BroadNet key mo ang basahin ng Haystack.

### Kaya bang tumawag ng tools ng isang Haystack Agent sa BroadNet?

Oo, gamit ang model na may nakalistang tools sa BroadNet, ang GLM 5.3 o Qwen3.8 27B. Sa test namin sa mock server, ipinadala ng Agent ang tool schema sa chat completions at bumalik ang tool call.

## Mga kaugnay na gabay

-   [Paano gamitin ang OpenAI Python SDK sa BroadNet Inference](https://broadrouter.com/fil/guides/openai-python-sdk/)
-   [LlamaIndex at BroadNet Inference gamit ang OpenAILike](https://broadrouter.com/fil/guides/llamaindex-openailike/)
-   [Bakit walang laman ang sagot ng isang reasoning model](https://broadrouter.com/fil/guides/reasoning-tokens-empty-response/)
-   [Mga error code ng BroadNet Inference at kailan dapat mag-retry](https://broadrouter.com/fil/guides/errors-and-retries/)
-   [Lahat ng tool na gumagana sa BroadNet Inference (Ingles)](https://broadrouter.com/integrations/): mga SDK, coding agent, chat UI at automation tool, kasama ang eksaktong setting ng bawat isa

Subukan ito sa totoong workload mo. May US$5 na panimulang credit ang mga bagong account para sa Gemma at transcription. Kailangan ng top-up para sa DeepSeek, GLM, at Qwen3.8.

[Magsimula](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-guides-haystack-openai-compatible&utm_content=page-cta) ·

**Mga source**

-   [Haystack docs 3.5, OpenAIChatGenerator (sinuri noong 2026-11-15)](https://docs.haystack.deepset.ai/docs/openaichatgenerator)
-   [PyPI, haystack-ai 3.5.0, Python 3.11+ (sinuri noong 2026-11-15)](https://pypi.org/project/haystack-ai/)
-   [API reference ng BroadNet Inference (sinuri noong 2026-11-15) (Ingles)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-guides-haystack-openai-compatible&utm_content=sources)
