---
title: "LiteLLM OpenAI-compatible provider gamit ang api_base"
description: "Tawagin ang BroadNet Inference sa LiteLLM gamit ang openai/ prefix at api_base, sa Python SDK o sa config.yaml ng proxy, na may katugmang rate limit."
url: https://broadrouter.com/fil/guides/litellm-proxy-custom-provider/
lang: fil
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Isinalin mula sa Ingles sa tulong ng AI. [Basahin ang orihinal sa Ingles](https://broadrouter.com/guides/litellm-proxy-custom-provider/) (na-update noong 2026-11-16).

# Paano i-route ang LiteLLM sa BroadNet Inference (SDK at proxy)

Na-update 2026-11-16

Sa LiteLLM, lagyan ng openai/ sa unahan ang BroadNet model ID, gaya ng openai/broadnet/glm-5.3, at i-set ang api\_base sa https://inference.broadnet.ai/v1 at ang BroadNet key mo bilang api\_key. Sa proxy, ilagay ang parehong mga value sa ilalim ng litellm\_params sa config.yaml at bigyan ang model ng maikling model\_name.

Nagbibigay ang LiteLLM ng iisang interface sa maraming LLM provider, bilang Python SDK at bilang proxy server. Para maabot ang isang OpenAI-compatible na API, dalawang bagay ang sinasabi ng docs nito: lagyan ng `openai/` sa unahan ang pangalan ng model, at i-set ang `api_base`. Ganitong route ang ginagamit ng BroadNet Inference.

## 1\. Python SDK

```bash
pip install litellm
export BROADNET_API_KEY='your-broadnet-key'
```

Sa example sa ibaba, 4000 ang `max_tokens`; ipinapaalala ng comment sa code na kasama ang reasoning sa limit na ito.

```python
import os
import litellm

response = litellm.completion(
    model="openai/broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,  # reasoning counts toward this
    messages=[{"role": "user", "content": "Name three uses of a bloom filter."}],
)
print(response.choices[0].message.content)
```

Ang `openai/` ang pumipili ng route; `broadnet/glm-5.3` ang ipinapadala ng LiteLLM sa BroadNet. Huwag nang dagdagan ang base URL; ang OpenAI client ng LiteLLM na ang nagdadagdag ng endpoint path.

Ayon sa docs ng LiteLLM, ginagamit ng `openai` route ang opisyal na OpenAI Python library, na nangangailangan ng API key sa bawat request. Tahasang ipasa ang `api_key`, gaya ng nasa itaas, para hindi kailanman bumalik ang LiteLLM sa isang `OPENAI_API_KEY` na para sa mismong OpenAI. Sa format ng OpenAI bumabalik ang response, kaya hindi na kailangang baguhin ang natitirang code mo.

## Kailan gagamitin ang proxy

Sapat na ang SDK sa loob ng iisang Python app. Nakakatulong ang proxy kapag kailangan ng ilang app o wika ang parehong mga model: lahat sila ay tumatawag sa iisang OpenAI-style na endpoint gamit ang maiikling pangalan ng model, at ang proxy ang may hawak ng BroadNet key, nagpapatupad ng rate limit at nagla-log ng usage. Wala nang kailangang setting na para lang sa BroadNet ang mga app mo.

## 2\. Proxy server

I-install ang mga proxy extra at isulat ang `config.yaml`:

```bash
pip install 'litellm[proxy]'
```

```yaml
model_list:
  - model_name: glm
    litellm_params:
      model: openai/broadnet/glm-5.3
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_GLM
      rpm: 30
  - model_name: deepseek-flash
    litellm_params:
      model: openai/broadnet/deepseek-v4.1-flash
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_DEEPSEEK
      rpm: 30
  - model_name: qwen
    litellm_params:
      model: openai/broadnet/qwen3.8-27b
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY_QWEN
      rpm: 30

general_settings:
  master_key: os.environ/LITELLM_MASTER_KEY
```

Patakbuhin ito at tawagin gaya ng kahit anong OpenAI endpoint. Sa example, ang `curl` ay pinapatakbo sa pangalawang terminal:

```bash
litellm --config config.yaml

# in a second terminal
curl http://localhost:4000/chat/completions \
  -H "Authorization: Bearer $LITELLM_MASTER_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model": "glm", "messages": [{"role": "user", "content": "Hello"}]}'
```

Sinasabi ng `os.environ/BROADNET_API_KEY_GLM` sa LiteLLM na basahin ang key na iyon mula sa environment. May sariling BroadNet pay-as-you-go key ang bawat entry, kaya tugma sa limit ng bawat key ang `rpm: 30`, ang optional na rate limit ng LiteLLM kada deployment. Kung iisang key ang gamit ng ilang entry, iisang limit din ang pinaghahatian nila, kaya hatiin ang numero sa kanila. Dahil sa `master_key`, hihingi ang proxy ng key sa bawat call; ayon sa docs ng LiteLLM, kailangang nagsisimula ito sa `sk-`. I-export ang `LITELLM_MASTER_KEY` bago mo simulan ang proxy.

## Aling model ang pipiliin

| model\_name | Model ng BroadNet | Gamit |
| --- | --- | --- |
| `glm` | [GLM 5.3](https://broadrouter.com/fil/models/glm-5.3/) | Tools, structured output, 1M na context |
| `deepseek-flash` | [DeepSeek V4.1 Flash](https://broadrouter.com/fil/models/deepseek-v4.1-flash/) | Mahabang context; ang model ng unlimited na plan |
| `qwen` | [Qwen3.8 27B](https://broadrouter.com/fil/models/qwen3.8-27b/) | Mga larawan, tools, Arabic |
| (idagdag kung kailangan) | [Gemma 4 VL 26B](https://broadrouter.com/fil/models/gemma-4-vl-26b/) | Mababang presyo kada token; gumagana sa $5 na credit |

Nasa [pricing page](https://broadrouter.com/fil/pricing/) ang mga presyo. Kung lilipat ka mula sa ibang gateway, nasa [migration checklist](https://broadrouter.com/fil/blog/openai-compatible-api-migration-checklist/) kung ano ang dapat i-test.

## Troubleshooting

-   **401.** Mali, expired, o ubos na ang pay-as-you-go allowance ng BroadNet key. Kung mismong proxy ang nagbalik ng 401, ang LiteLLM key na ipinadala mo ang suriin.
-   **Not Found.** Tiyaking `https://inference.broadnet.ai/v1` na may `/v1` ang `api_base`. Kung tama ang base URL, tiyaking eksaktong tugma sa BroadNet ang model ID pagkatapos ng `openai/`.
-   **Tinatanggihan ang model sa bagong account.** Kailangan munang mag-top up para sa GLM 5.3, Qwen3.8 27B at DeepSeek V4.1 Flash; ang `broadnet/gemma-4-26b-a4b` at ang dalawang Transcribe model lang ang sakop ng $5 na credit.
-   **Walang lamang content.** Kasama ang reasoning sa `max_tokens`. Taasan ito o ipadala ang `reasoning_effort="low"`. [Bakit walang laman ang mga sagot](https://broadrouter.com/fil/guides/reasoning-tokens-empty-response/).
-   **429.** Ang isang pay-as-you-go key ay may 30 request kada minuto at 4 nang sabay-sabay. Nakakatulong ang `rpm` ng LiteLLM sa una; panatilihin sa 4 o mas kaunti ang sabay-sabay na caller kada key. Tingnan ang [errors and retries](https://broadrouter.com/fil/guides/errors-and-retries/).
-   **Parallel na agent sa isang plan key.** Isang request lang sa isang pagkakataon ang pinapatakbo ng isang [plan session](https://broadrouter.com/fil/guides/unlimited-llm-api-sessions/). Kapag pinatakbo mo ang ilang agent sa proxy gamit ang iisang session, pipila sila; bumili ng isang session kada parallel na agent.

## Mga termino sa gabay na ito

[API key](https://broadrouter.com/fil/glossary/api-key/)

Ang API key ay isang lihim na string na kumikilala at nagpapahintulot sa client na tumatawag sa isang API. Kadalasang hinihingi ito ng mga LLM API sa Authorization: Bearer header, at ang sinumang may hawak ng key ay makakagawa ng mga request na sisingilin sa account na may-ari nito.

[Pay-as-you-go](https://broadrouter.com/fil/glossary/pay-as-you-go/)

Ang pay-as-you-go ay paraan ng pagpepresyo kung saan ang nagamit mo lang ang binabayaran mo, sinusukat kada yunit gaya ng token, request o minuto ng audio, nang walang subscription o minimum na commitment. Ganito naniningil ang karamihan ng LLM API, mula sa prepaid na balance o sa pana-panahong invoice.

[AI agent](https://broadrouter.com/fil/glossary/agent/)

Ang AI agent ay isang system kung saan ang language model mismo ang nagdidirekta ng mga hakbang nito tungo sa isang layunin: pinipili nito kung aling tools ang tatawagin, binabasa ang mga resulta at umuulit hanggang makabuo ng huling sagot o maabot ang limit. Workflow naman ang karaniwang tawag sa fixed na script na tumatawag sa model sa takdang punto.

[Rate limit](https://broadrouter.com/fil/glossary/rate-limit/)

Ang rate limit ay hangganang itinatakda ng API sa dami ng paggamit ng isang client sa isang yugto ng oras, gaya ng request kada minuto o token kada minuto. Tinatanggihan ang mga request na lampas sa limit, kadalasan na may HTTP 429 Too Many Requests, hanggang bumaba ulit ang paggamit.

[Base URL](https://broadrouter.com/fil/glossary/base-url/)

Ang base URL ay ang fixed na root address ng isang API, gaya ng https://api.example.com/v1, na idinudugtong ng client sa unahan ng bawat endpoint path, gaya ng /chat/completions. Sa mga OpenAI-compatible SDK, kapag pinalitan ang base URL, kasama ang API key at model ID, sa ibang provider na tatawag ang parehong code.

[Concurrency](https://broadrouter.com/fil/glossary/concurrency/)

Ang concurrency ay ang bilang ng request na sabay-sabay na in flight mula sa isang client. Madalas itong nililimitahan ng mga LLM API kada key o plan, hiwalay sa requests per minute, dahil humahawak ng GPU capacity ang bawat bukas na request hanggang matapos ang response nito.

[Context window](https://broadrouter.com/fil/glossary/context-window/)

Ang context window ay ang pinakamaraming token na kayang hawakan ng isang language model sa iisang request. Sakop nito ang prompt, history ng usapan, tool definitions, mga larawan at ang nabuong output, kasama ang anumang reasoning tokens. Ang hindi kasya ay kailangang bawasan, ibuod o hatiin sa ilang request.

[Tool calling (function calling)](https://broadrouter.com/fil/glossary/tool-calling/)

Ang tool calling, tinatawag ding function calling, ay feature ng LLM API kung saan nagbabalik ang model ng structured na request para magpatakbo ng function na tinukoy ng developer, kasama ang JSON arguments. Ang application ang nagpapatakbo ng function at nagpapadala pabalik ng resulta; hindi kailanman nagpapatakbo ng code ang model mismo.

## Mga tanong

### Bakit Not Found error ang ibinabalik ng LiteLLM?

Ayon sa docs ng LiteLLM, tiyaking nagtatapos sa /v1 ang api\_base. Gamitin ang https://inference.broadnet.ai/v1 at huwag nang idagdag ang /chat/completions.

### Bakit openai/broadnet/glm-5.3 ang pangalan ng model?

Sinasabi ng openai/ prefix sa LiteLLM na tumawag sa isang OpenAI-style na /chat/completions endpoint. Ginagamit ng LiteLLM ang prefix para piliin ang route at ipinapadala ang natitira, ang broadnet/glm-5.3, na siyang model ID ng BroadNet.

### Puwede ko bang ilagay ang unlimited plan key ng BroadNet sa likod ng shared na LiteLLM proxy?

Hindi puwedeng i-share o ibenta ulit ang mga plan key, at isang request lang sa isang pagkakataon ang pinapatakbo ng isang session. Gamitin ang mga ito para sa sarili mong mga agent. Para sa proxy ng team, gumamit ng mga pay-as-you-go key.

### Kailangan ba ng LiteLLM ang OPENAI\_API\_KEY para tawagin ang BroadNet?

Kailangan ng openai route ng key sa bawat request, mula sa api\_key o OPENAI\_API\_KEY. Ipasa ang BroadNet key mo bilang api\_key, o os.environ/BROADNET\_API\_KEY sa proxy, para hindi magpadala ang LiteLLM ng totoong OpenAI key sa BroadNet.

## Mga kaugnay na gabay

-   [Paano gamitin ang OpenAI Python SDK sa BroadNet Inference](https://broadrouter.com/fil/guides/openai-python-sdk/)
-   [Mga error code ng BroadNet Inference at kailan dapat mag-retry](https://broadrouter.com/fil/guides/errors-and-retries/)
-   [Bakit walang laman ang sagot ng isang reasoning model](https://broadrouter.com/fil/guides/reasoning-tokens-empty-response/)
-   [Paano gamitin ang LangChain sa BroadNet Inference](https://broadrouter.com/fil/guides/langchain-openai-base-url/)
-   [Lahat ng tool na gumagana sa BroadNet Inference (Ingles)](https://broadrouter.com/integrations/): mga SDK, coding agent, chat UI at automation tool, kasama ang eksaktong setting ng bawat isa

Subukan ito sa totoong workload mo. May US$5 na panimulang credit ang mga bagong account para sa Gemma at transcription. Kailangan ng top-up para sa DeepSeek, GLM, at Qwen3.8.

[Magsimula](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-guides-litellm-proxy-custom-provider&utm_content=page-cta) ·

**Mga source**

-   [LiteLLM docs, OpenAI-compatible endpoints (sinuri noong 2026-11-14)](https://docs.litellm.ai/docs/providers/openai_compatible)
-   [LiteLLM docs, config.yaml ng proxy (sinuri noong 2026-11-14)](https://docs.litellm.ai/docs/proxy/configs)
-   [API reference ng BroadNet Inference (Ingles)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-guides-litellm-proxy-custom-provider&utm_content=sources)
