---
title: "Ano ang LLM router? Aggregator, gateway at routing | BroadRouter"
description: "Pinipili ng LLM router kung aling model o provider ang sasagot sa bawat request. Paano gumagana ang mga hosted aggregator, self-hosted gateway at router ng model."
url: https://broadrouter.com/fil/glossary/llm-router/
lang: fil
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Isinalin mula sa Ingles sa tulong ng AI. [Basahin ang orihinal sa Ingles](https://broadrouter.com/glossary/llm-router/) (na-update noong 2026-11-16).

# LLM router

Na-update 2026-11-16

Ang LLM router ay software o serbisyo na nakapuwesto sa pagitan ng isang application at ng isa o higit pang language model API, at nagpapasya, para sa bawat request, kung aling model o provider ang hahawak dito, gamit ang mga rule gaya ng gastos, latency, availability o uri ng task.

Tinatawag ding: AI gateway, LLM gateway, model router, LLM aggregator, LLM routing

Hindi kailangan ng router ang application na iisang model lang ang kausap. Lumilitaw ang mga router kapag gumagamit ang isang team ng ilang model o provider at gusto ng iisang lugar para pumili sa pagitan ng mga ito.

## Paano ito gumagana

Nagpapadala ang application ng OpenAI-style na request sa router. Ina-apply ng router ang mga rule nito, ipinapasa ang request sa isang backend, at ibinabalik ang sagot sa parehong format. Tatlong karaniwang uri:

-   **Hosted aggregator.** Halimbawa, nag-aalok ang OpenRouter ng “hundreds of AI models through a single API endpoint” (Salin ng BroadRouter: “daan-daang AI model sa iisang API endpoint”) sa `https://openrouter.ai/api/v1`, na may awtomatikong fallback. Iisang key at iisang bill ang hawak mo; ang aggregator ang may account sa mga provider.
-   **Self-hosted gateway.** Tumatakbo ang LiteLLM Router sa sarili mong infrastructure. Ikinakalat nito ang traffic sa mga deployment (simple shuffle bilang default, o batay sa latency, usage o gastos), nire-retry ang mga rate-limit error gamit ang exponential backoff, at inilalagay sa cooldown ang isang deployment pagkatapos ng 429 o mataas na failure rate.
-   **Router na pumipili ng model.** Ang mga pananaliksik gaya ng RouteLLM ay nagte-train ng classifier na nagpapadala ng madadaling prompt sa mas murang model at ng mahihirap sa mas malakas na model, para bumaba ang gastos nang hindi nawawala ang kalidad.

Kino-configure ang self-hosted gateway bilang listahan ng mga backend. Nagdadagdag ang LiteLLM entry na ito ng isang [OpenAI-compatible](https://broadrouter.com/fil/glossary/openai-compatible-api/) na provider:

```yaml
model_list:
  - model_name: flash
    litellm_params:
      model: openai/broadnet/deepseek-v4.1-flash
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY
```

## Bakit ito mahalaga

-   **Reliability.** Kayang lumipat ng router kapag nagbalik ng 429 o 5xx error ang isang provider. Tingnan ang [rate limits](https://broadrouter.com/fil/glossary/rate-limit/).
-   **Gastos.** Puwedeng bumaba ang bill kapag ipinadala ang simpleng prompt sa mas murang model.
-   **Iisang integration.** Iisang [base URL](https://broadrouter.com/fil/glossary/base-url/) at iisang key format ang kausap ng code.

Totoo ang mga trade-off. Nagdadagdag ng network hop ang router. Ang hosted router ay isa pang partido na nakakakita ng mga prompt mo, kaya nakadepende ang retention sa router at sa provider na pinipili nito. Nagkakaiba rin ang mga model sa tokenizer, kilos sa reasoning at suportadong parameter, kaya puwedeng magbago ang mga sagot dahil sa tahimik na fallback.

## Sa BroadNet Inference

Hindi router ang BroadNet Inference. Iisang provider ito na may isang maikling [listahan ng model](https://broadrouter.com/fil/models/) sa `https://inference.broadnet.ai/v1`; ayon sa Terms ng BroadNet, tumatakbo ang mga model nito sa hardware sa US na pag-aari o inuupahan ng BroadNet o kasama ang mga inference partner sa US. Walang awtomatikong routing o fallback sa iba’t ibang provider. Ikaw ang pumipili ng model sa bawat request, halimbawa `broadnet/deepseek-v4.1-flash` o `broadnet/glm-5.3`.

Dahil OpenAI-compatible ang API, puwede itong ilagay sa likod ng router bilang isang backend. Ipinapakita ng [gabay sa LiteLLM proxy](https://broadrouter.com/fil/guides/litellm-proxy-custom-provider/) ang setup. Para sa paghahambing ng router at flat-rate na provider, basahin ang [OpenRouter alternative para sa mga agent](https://broadrouter.com/fil/blog/openrouter-alternative-flat-rate/). Hindi itinatago ng BroadNet ang mga prompt o output; kung magdadagdag ka ng hosted router sa harap, i-check din ang [data retention](https://broadrouter.com/fil/glossary/zero-data-retention/) nito.

## Mga karaniwang pagkakamali

-   Pag-retry ng 401 o 403 sa ibang provider. Mga error iyon sa key o policy; ayusin muna ang mga iyon. Tingnan ang [errors at retries](https://broadrouter.com/fil/guides/errors-and-retries/).
-   Pagturing na mapagpapalit ang mga pangalan ng model. I-test ang bawat fallback model sa sarili mong mga prompt.

## Mga tanong

### Pareho ba ang LLM router at load balancer?

Bahagi lang ng router ang load balancer. Kaya rin ng router na pumili ng ibang model para sa isang task, lumipat sa ibang provider pagkatapos ng error, at mag-translate sa pagitan ng mga API format. Ang simpleng load balancer ay nagkakalat lang ng traffic sa magkakaparehong server.

### Nagdadagdag ba ng latency ang router?

Kadalasan, kaunti, dahil may isang dagdag na network hop ang request at puwede itong suriin ng router. Puwedeng mas malaki pa sa mga fallback, dahil tumatakbo muna ang pumalyang subok bago ang retry. Sukatin ang time to first token nang may router at wala.

### LLM router ba ang BroadNet Inference?

Hindi. Sa kabila ng pangalan ng site na ito, iisang provider lang ang BroadNet Inference; ayon sa Terms ng BroadNet, tumatakbo ang mga model nito sa hardware sa US na pag-aari o inuupahan ng BroadNet o kasama ang mga inference partner sa US. Ikaw ang pumipili ng model sa bawat request. Puwede mo itong ilagay sa likod ng router bilang isa sa mga provider.

## Tingnan din

-   [OpenAI-compatible API](https://broadrouter.com/fil/glossary/openai-compatible-api/) (termino)
-   [Base URL](https://broadrouter.com/fil/glossary/base-url/) (termino)
-   [Rate limit](https://broadrouter.com/fil/glossary/rate-limit/) (termino)
-   [Zero data retention (ZDR)](https://broadrouter.com/fil/glossary/zero-data-retention/) (termino)
-   [Inference provider](https://broadrouter.com/fil/glossary/inference-provider/) (termino)
-   [Model fallback](https://broadrouter.com/fil/glossary/model-fallback/) (termino)
-   [Paano i-route ang LiteLLM sa BroadNet Inference (SDK at proxy)](https://broadrouter.com/fil/guides/litellm-proxy-custom-provider/) (gabay)
-   [Mga error code ng BroadNet Inference at kailan dapat mag-retry](https://broadrouter.com/fil/guides/errors-and-retries/) (gabay)
-   [OpenRouter vs flat-rate plan para sa AI agent: alin ang mas mura?](https://broadrouter.com/fil/blog/openrouter-alternative-flat-rate/) (artikulo)
-   [Paglipat sa OpenAI-compatible API: checklist sa migration](https://broadrouter.com/fil/blog/openai-compatible-api-migration-checklist/) (artikulo)

Subukan ito sa totoong workload mo. May US$5 na panimulang credit ang mga bagong account para sa Gemma at transcription. Kailangan ng top-up para sa DeepSeek, GLM, at Qwen3.8.

[Magsimula](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-glossary-llm-router&utm_content=page-cta) ·

**Mga source**

-   [Quickstart ng OpenRouter (iisang endpoint para sa maraming model)](https://openrouter.ai/docs/quickstart)
-   [Docs ng LiteLLM Router, load balancing, fallbacks at cooldowns](https://docs.litellm.ai/docs/routing)
-   [RouteLLM: Learning to Route LLMs with Preference Data (arXiv:2406.18665)](https://arxiv.org/abs/2406.18665)
-   [API reference ng BroadNet Inference (Ingles)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-glossary-llm-router&utm_content=sources)
-   [BroadNet Terms of Service, §2 hosting (sinuri noong 2026-11-16) (Ingles)](https://www.broadnet.ai/terms)
