---
title: "LLM API failover sa backup na provider, sa Python | BroadRouter"
description: "Paano mag-failover sa pagitan ng mga OpenAI-compatible na LLM provider: aling error, circuit breaker, mapping ng model ID, streaming, gastos at privacy."
url: https://broadrouter.com/fil/blog/llm-api-failover-fallback/
lang: fil
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Isinalin mula sa Ingles sa tulong ng AI. [Basahin ang orihinal sa Ingles](https://broadrouter.com/blog/llm-api-failover-fallback/) (na-update noong 2026-11-16).

# LLM API failover: lumipat sa pangalawang provider sa sarili mong code

Ng BroadNet Inference team · 8 minutong basa · Nailathala 2026-11-15 · Na-update 2026-11-16

Magtabi ng nakaayos na listahan ng mga OpenAI-compatible na provider, bawat isa may sariling client at model ID. Mag-failover sa connection error, timeout, 5xx at rate-limit na 429 kapag ubos na ang sariling retry ng SDK. Huwag kailanman mag-failover sa 400, 401, 402, 403, 413 o 422. Magdagdag ng circuit breaker, at tiyaking tugma ang backup sa primary sa features at data terms.

## Mga pangunahing punto

-   Mag-failover sa connection error, timeout, 5xx at rate-limit na 429, pagkatapos ng limitadong retry. Ang 400, 401, 402, 403, 413 o 422 ay babagsak din sa parehong paraan sa susunod na provider.
-   Iba-iba ang model ID kada provider: \`broadnet/glm-5.3\` ang GLM 5.3 sa BroadNet, \`zai-org/GLM-5.3\` sa DeepInfra at \`accounts/fireworks/models/glm-5p3\` sa Fireworks.
-   Pinipigilan ng circuit breaker na magbayad ka ng timeout sa bawat request habang down ang primary.
-   Mag-failover lang ng stream bago ang unang token, at huwag kailanman ulitin ang tool call na may binabago.
-   Hindi nagro-route o nagfa-failover para sa iyo ang BroadNet at BroadRouter. Walang availability commitment ang self-serve ng BroadNet, kaya dapat may fallback ang mga production app.

**Sa page na ito**

1.  Bakit pa kailangan ng fallback provider?
2.  Aling mga error ang dapat mag-trigger ng failover?
3.  Ano ang itsura ng failover sa Python?
4.  Paano i-map ang mga model ID sa iba’t ibang provider?
5.  Paano mapapanatiling magkatulad ang mga sagot pagkatapos lumipat?
6.  Paano naman ang streaming at mga tool call?
7.  Magkano ang gastos ng failover?
8.  Pasok ba ang fallback sa parehong data terms?
9.  Dapat ka bang gumamit na lang ng gateway gaya ng LiteLLM?
10.  Paano subukan ang failover bago mo ito kailanganin?
11.  Saan pumapasok ang BroadNet Inference

May masasamang minuto ang bawat LLM API: isang 503, isang timeout, sunud-sunod na 429. Ang fallback ang pumipigil na maging outage ng app mo ang mga minutong iyon. Ipinapakita ng post na ito kung paano mag-failover sa pagitan ng mga [OpenAI-compatible](https://broadrouter.com/fil/glossary/openai-compatible-api/) na provider sa sarili mong code. Sinasaklaw nito kung aling mga error ang dapat mag-trigger nito, paano ito pinapabilis ng circuit breaker, at ano ang dapat magtugma sa pagitan ng mga provider para hindi mapansin ng mga user ang paglipat.

Isang bagay muna: **hindi nagro-route o nagfa-failover sa pagitan ng mga provider ang BroadNet Inference para sa iyo**, at ganoon din ang BroadRouter. Ang BroadRouter ay sariling website ng BroadNet, hindi router. Ikaw mismo ang gagawa ng fallback, sa client mo gaya ng nasa ibaba o sa isang gateway gaya ng LiteLLM.

## Bakit pa kailangan ng fallback provider?

Dahil walang ipinapangako tungkol sa uptime ang karamihan ng self-serve na API. Diretsahan itong sinasabi ng [terms](https://www.broadnet.ai/terms) ng BroadNet sa section 7.4: “self-serve has no availability commitment” (salin: walang availability commitment ang self-serve), at may service level lang sa isang hiwalay na nakasulat na kasunduan (sinuri noong Nobyembre 15, 2026). Sinasaklaw ng [paghahambing ng LLM API SLA](https://broadrouter.com/fil/blog/llm-api-sla-uptime-compared/) kung ano ang ipinapangako ng ibang provider. Kung kailangang laging bukas ang feature mo, ang pangalawang provider ang praktikal na insurance, anuman ang sabihin ng SLA.

Ang [rate limit](https://broadrouter.com/fil/glossary/rate-limit/) ang pangalawang dahilan. Pinapayagan ng isang pay-as-you-go na key ng BroadNet ang 30 request kada minuto at 4 na sabay-sabay na tumatakbo. Kapag lumampas doon ang biglang dami ng traffic, 429 ang babalik, at kayang saluhin ng pangalawang provider ang sobra habang itinataas mo ang capacity.

## Aling mga error ang dapat mag-trigger ng failover?

Hatiin ang mga error sa dalawang grupo. Ang ilan ay kasalanan ng provider at puwedeng magtagumpay sa iba. Ang iba ay kasalanan mo at babagsak saan man.

| Error | Mag-failover? | Bakit |
| --- | --- | --- |
| Connection error, timeout | Oo, pagkatapos ng retry | Hindi maabot ang provider o ang network |
| 500, 502, 503, 504 | Oo, pagkatapos ng retry | Sinasabi ng docs ng BroadNet na “retry with bounded exponential backoff” (salin: mag-retry nang may limitadong exponential backoff) muna |
| 429, rate o concurrency limit | Oo, pagkatapos ng backoff | Capacity ng provider na ito, hindi maling request |
| 429, spending limit | Hindi | Nilalampasan ng failover ang budget na sinadya mong itakda |
| 400, 422 | Hindi | Invalid ang request at babagsak din sa susunod na provider |
| 401, 402 | Hindi | Key, allowance o balance. Sa BroadNet, sakop din ng 401 ang naubos na pay-as-you-go allowance, kaya matatabunan ng failover ang problema sa billing |
| 403, 413 | Hindi | Policy o laki; ayusin ang request |

Sinasabi ng [API reference](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-blog-llm-api-failover-fallback&utm_content=body) ng BroadNet na ang 429 ay nangangahulugang “a rate, concurrency, token-rate or spending limit was reached” (salin: naabot ang rate, concurrency, token-rate o spending limit) at na “use response details and bounded backoff” (salin: gamitin ang mga detalye ng response at limitadong backoff). Basahin ang mga detalyeng iyon bago ka mag-failover, para mapahinto ng spending-limit na 429 ang request imbes na ilipat ito. Nakalista sa [gabay sa error codes](https://broadrouter.com/fil/guides/errors-and-retries/) ang bawat status.

Mag-retry bago mag-failover. Nagre-retry na ang OpenAI Python SDK sa connection error, 408, 409, 429 at 5xx na response nang “2 times by default, with a short exponential backoff” (salin: 2 beses by default, may maikling exponential backoff), at 10 minuto ang default timeout nito ([README](https://github.com/openai/openai-python), sinuri noong Nobyembre 15, 2026). Masyadong matagal ang sampung minuto para maghintay bago mag-failover. Itakda ang `timeout` kada client. Sinasaklaw ng [post tungkol sa paghawak ng 429](https://broadrouter.com/fil/blog/handle-llm-api-429-rate-limits/) ang backoff na may jitter.

## Ano ang itsura ng failover sa Python?

Dalawang client, isang nakaayos na listahan at isang maliit na circuit breaker. Ang primary ay GLM 5.3 sa BroadNet. Ang backup ay ang parehong open-weight na model sa DeepInfra, na ang docs ay nagbibigay ng base URL na `https://api.deepinfra.com/v1/openai` (sinuri noong Nobyembre 15, 2026).

```python
import os
import time
from openai import (OpenAI, APIConnectionError, APITimeoutError,
                    RateLimitError, InternalServerError)

PROVIDERS = [
    {"name": "broadnet", "model": "broadnet/glm-5.3",
     "client": OpenAI(base_url="https://inference.broadnet.ai/v1",
                      api_key=os.environ["BROADNET_API_KEY"],
                      max_retries=2, timeout=60)},
    {"name": "deepinfra", "model": "zai-org/GLM-5.3",
     "client": OpenAI(base_url="https://api.deepinfra.com/v1/openai",
                      api_key=os.environ["DEEPINFRA_API_KEY"],
                      max_retries=2, timeout=60)},
]

# Provider-side failures only. 400, 401, 402, 403 and 422 raise straight through.
FAILOVER_ON = (APIConnectionError, APITimeoutError, RateLimitError, InternalServerError)
TRIP_AFTER = 3     # consecutive failures before the breaker opens
COOLDOWN = 30      # seconds to skip a provider once its breaker is open
state = {p["name"]: {"fails": 0, "open_until": 0.0} for p in PROVIDERS}

def chat(messages, **kwargs):
    last_error = None
    for p in PROVIDERS:
        s = state[p["name"]]
        if time.monotonic() < s["open_until"]:
            continue  # breaker open: don't wait on a provider that is down
        try:
            reply = p["client"].chat.completions.create(
                model=p["model"], messages=messages, **kwargs)
            s["fails"] = 0
            return p["name"], reply
        except FAILOVER_ON as err:
            last_error = err
            s["fails"] += 1
            if s["fails"] >= TRIP_AFTER:
                s["open_until"] = time.monotonic() + COOLDOWN
    raise RuntimeError("every provider failed") from last_error

served_by, reply = chat([{"role": "user", "content": "Reply with one short sentence."}],
                        max_tokens=1000)
print(served_by, reply.model, reply.choices[0].message.content)
```

Apat na detalye ang mahalaga:

1.  **Mga exception class.** Nagre-raise ang SDK ng `RateLimitError` para sa 429, `InternalServerError` para sa 500 pataas, at `APIConnectionError` (na may `APITimeoutError` bilang subclass) kapag hindi ito makakonekta. Sinadyang hindi hulihin ang lahat ng iba pa. Para hindi isama ang mga spending-limit na 429, suriin ang `err.response` bago ka magpatuloy.
2.  **Ang circuit breaker.** Kung wala ito, binabayaran ng bawat request ang buong timeout sa patay na primary bago lumipat. Pagkatapos ng tatlong sunud-sunod na pagbagsak, nilalaktawan ang primary nang 30 segundo. Pagkatapos noon, sinusubukan ulit ito ng susunod na request.
3.  **I-log kung sino ang sumagot.** Ibalik ang pangalan ng provider at itabi ang `reply.model`. Kapag nagbago ang kalidad, kailangan mong malaman kung aling provider ang sumagot.
4.  **Budget sa reasoning.** Nagre-reason ang GLM 5.3 bago sumagot. Sinasabi ng docs ng BroadNet na kasama sa `max_tokens` ang reasoning, kaya mag-iwan ng 1,000 o higit pa sa bawat provider.

## Paano i-map ang mga model ID sa iba’t ibang provider?

Iba ang ID ng parehong open-weight na model sa bawat host, at puwedeng magkaiba ang features na nakalista ng bawat host. GLM 5.3 noong Nobyembre 15, 2026:

|  | BroadNet Inference | DeepInfra | Fireworks AI |
| --- | --- | --- | --- |
| Model ID | `broadnet/glm-5.3` | `zai-org/GLM-5.3` | `accounts/fireworks/models/glm-5p3` |
| Context | 1,048,576 token | 1,048,576 token | “1040k” na token |
| Tools | Dokumentado | Nakalista ang “Function” | Supported |
| Structured output | Dokumentado | Nakalista ang “JSON” | Hindi sinuri |

Dalawang patakaran ang sumusunod. Una, ilagay ang mapping sa config, hindi kalat sa code. Pangalawa, itugma ang fallback mo sa ginagamit ng mga request mo. Sa BroadNet, dokumentado ang tools at structured output para sa GLM 5.3 at Qwen3.8 27B lang. Puwedeng mag-failover ang isang tool-calling na agent mula sa GLM 5.3 papunta sa GLM 5.3 sa ibang lugar. Hindi ito ligtas na makakapag-failover sa model na walang dokumentadong tools. Kung mas maliit ang context window ng backup, paikliin ang prompt o laktawan ang backup na iyon para sa mahahabang request. Nasa [reference ng mga base URL](https://broadrouter.com/fil/blog/openai-compatible-api-base-urls/) ang base URL ng 14 na provider.

## Paano mapapanatiling magkatulad ang mga sagot pagkatapos lumipat?

Puwedeng magkaiba pa rin ang sagot ng parehong weights sa dalawang host, dahil puwedeng magkaiba ang precision, chat template o default na parameter na sine-serve ng mga host. Tiyak na iba ang sagot ng ibang model.

-   Patakbuhin ang [eval set](https://broadrouter.com/fil/blog/evaluate-llm-before-switching/) mo sa bawat entry sa listahan, hindi lang sa primary.
-   I-pin ang `temperature`, `max_tokens` at ang system prompt kada request, para hindi mabago ng mga default ng provider ang output.
-   I-validate ang structured output sa parehong paraan sa bawat path. Sinasaklaw ng [pag-aayos ng invalid na JSON](https://broadrouter.com/fil/blog/fix-invalid-json-from-llm/) ang repair-and-retry loop.
-   Mas piliin ang parehong model sa ibang lugar kaysa ibang model sa parehong host. Mas napapansin ng mga user ang pagbabago ng estilo kaysa ilang segundong latency.

## Paano naman ang streaming at mga tool call?

Puwedeng pumalya ang stream sa kalagitnaan. Sinasabi ng docs ng BroadNet na ituring na hindi kumpleto ang stream na natapos bago ang `data: [DONE]`: itala ang `X-Request-ID` at pagpasyahan kung ligtas para sa application mo na magpadala ng bagong request.

-   **Bago ang unang token:** malayang mag-failover. Wala pang nakikita ang user.
-   **Pagkatapos maipakita ang mga token:** magsimula ulit sa backup at palitan ang bahagyang sagot, o magpakita ng error na may retry button. Pangit basahin ang pinagdugtong na kalahating sagot ng dalawang provider.
-   **Mga tool call na may side effect:** huwag kailanman ulitin ang hakbang na nagpapadala ng email, naniningil sa card o nagsusulat sa database dahil lang pumalya ang model call. Bigyan ang bawat aksyon ng [idempotency key](https://broadrouter.com/fil/glossary/idempotency-key/). Sinasaklaw ng [mga long-running agent](https://broadrouter.com/fil/blog/long-running-agents-timeouts-retries/) ang mga checkpoint.

Ipinapaliwanag ng [streaming gamit ang SSE](https://broadrouter.com/fil/blog/llm-streaming-sse-explained/) kung paano matutukoy ang stream na maagang natapos.

## Magkano ang gastos ng failover?

-   **Dobleng trabaho.** Hindi patunay ang timeout sa panig mo na tumigil na ang provider. Sa per-token na billing, bagong inference ang bawat retry, kaya asahan na dalawang beses kang magbabayad para sa ilang request.
-   **Ibang presyo.** Sinisingil ka ng backup sa sarili nitong rate. May promotional na presyo ang DeepInfra para sa GLM-5.3 noong Nobyembre 15, 2026, kaya suriin ulit bago ka mag-budget. Naniningil ang BroadNet ng $0.78 input, $0.173 cached input at $3.46 output kada 1M token.
-   **Malamig na cache.** Hindi lumilipat ang cached input sa pagitan ng mga provider. Buong presyo ng input ang binabayaran ng mga unang request sa backup para sa prefix na naka-cache sa primary. Tingnan ang [cached input token](https://broadrouter.com/fil/blog/cached-input-tokens-explained/).
-   **Hedging.** Kapag ipinapadala mo ang bawat request sa dalawang provider nang sabay at kinukuha ang unang sagot, bumababa ang tail latency, pero halos dumodoble ang bill. Gamitin lang ito kung saan sulit ang latency sa ganoong gastos.

## Pasok ba ang fallback sa parehong data terms?

Ang fallback provider ay isa pang processor na tumatanggap ng parehong mga prompt. Kung may ipinangako ka sa mga customer tungkol sa data nila, kailangang totoo ang pangakong iyon sa bawat entry sa listahan.

Sinasabi ng [privacy statement](https://www.broadnet.ai/inference-privacy) ng BroadNet: “We do not retain prompts, audio, images, answers or transcripts” (salin: Hindi namin itinatago ang mga prompt, audio, larawan, sagot o transcript). Hindi itinatago ang inference content; itinatago ang kinakailangang metadata ng account, billing at security ayon sa inilalarawan ng statement na iyon. Sinasabi rin nito na hindi ginagamit ang inference data para mag-train, mag-fine-tune o mag-evaluate ng mga model. Sinasabi ng statement na ang mga hosted na model ay “run on BroadNet-owned or leased hardware in the United States, with partner capacity as backup” (salin: tumatakbo sa hardware na pag-aari o inuupahan ng BroadNet sa United States, na may partner capacity bilang backup); partner-hosted ang DeepSeek V4.1 Flash. Para sa data na may residency requirement, sinasabi ng terms (section 7.3a) na pagkasunduan muna ang lokasyon ng pagproseso bago ito ipadala. Suriin ang parehong mga punto para sa backup: retention, paggamit sa training, lokasyon at mga subprocessor. Kung kulang ito, huwag isama ang mga sensitibong request sa fallback path at hayaan silang bumagsak nang sarado (fail closed). Nakalista sa [zero data retention checklist](https://broadrouter.com/fil/blog/zero-data-retention-llm-api-checklist/) ang mga tanong.

## Dapat ka bang gumamit na lang ng gateway gaya ng LiteLLM?

Gumamit ng gateway kung maraming service ang nangangailangan ng parehong fallback rules. Tumatanggap ang proxy ng LiteLLM ng `fallbacks` na listahan na sinusubukan nang sunud-sunod. Nire-retry ng `num_retries` ang isang model group bago ito mag-fallback. Inaalis muna nang ilang sandali ng `allowed_fails` at `cooldown_time` ang pumapalyang deployment, na gumagana bilang circuit breaker. Hiwalay na hinahawakan ng `context_window_fallbacks` at `content_policy_fallbacks` ang mga uri ng error na iyon ([docs ng LiteLLM](https://docs.litellm.ai/docs/proxy/reliability), sinuri noong Nobyembre 15, 2026):

```yaml
model_list:
  - model_name: glm
    litellm_params:
      model: openai/broadnet/glm-5.3
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY
  - model_name: glm-backup
    litellm_params:
      model: openai/zai-org/GLM-5.3
      api_base: https://api.deepinfra.com/v1/openai
      api_key: os.environ/DEEPINFRA_API_KEY

router_settings:
  fallbacks: [{"glm": ["glm-backup"]}]
  allowed_fails: 3
  cooldown_time: 30

litellm_settings:
  num_retries: 2
  request_timeout: 60
```

Ipinapakita nang buo ng [gabay sa LiteLLM proxy](https://broadrouter.com/fil/guides/litellm-proxy-custom-provider/) ang BroadNet entry. Ginagamit ng dalawang entry ang generic na `openai/` prefix ng LiteLLM na may `api_base`, ang parehong pattern na ginagamit ng gabay. Nagdadagdag ang gateway ng isang hop at isa pang bagay na kailangang panatilihing tumatakbo. Sapat na ang mga 40 linya sa client mo, gaya ng nasa itaas, para sa iisang app.

## Paano subukan ang failover bago mo ito kailanganin?

1.  Ituro ang primary sa isang hindi maabot na host sa test config at tiyaking napupunta sa backup ang mga request.
2.  Magpadala ng sadyang invalid na request at tiyaking **hindi** ito nagfa-failover.
3.  Gumamit ng invalid na primary key at tiyaking lumalabas ang 401 bilang error, hindi tahimik na paglipat.
4.  Bantayan ang breaker: pagkatapos ng tatlong pagbagsak, dapat nang laktawan ang primary nang hindi hinihintay ang timeout.
5.  Mag-alert kapag ang backup ang sumasagot sa higit sa maliit na bahagi ng traffic. Puwedeng matabunan ng tahimik na failover ang sirang primary nang ilang araw.

Tumatanggap ang `Router` ng LiteLLM ng `mock_testing_fallbacks=True` sa mga direktang test para pilitin ang fallback.

## Saan pumapasok ang BroadNet Inference

Ang BroadRouter ay website ng BroadNet, at puwedeng maging alinmang entry sa listahan mo ang BroadNet Inference. Bilang primary, binibigyan ka nito ng GLM 5.3 at Qwen3.8 27B na may dokumentadong tools at structured output, dagdag ang Gemma 4 VL 26B at DeepSeek V4.1 Flash, sa iisang [base URL](https://broadrouter.com/fil/glossary/base-url/) na walang itinatagong content. Bilang backup, isa pa itong OpenAI-compatible na endpoint na maidadagdag sa listahan. Alinman doon, iyo ang failover logic: hindi nagro-route ang BroadNet sa pagitan ng mga provider, at walang SLA ang self-serve. Kung kailangan mo ng service level na nakakontrata, makukuha lang iyon sa hiwalay na nakasulat na kasunduan. Ikumpara ang mga [model](https://broadrouter.com/fil/models/), o [gumawa ng account](https://inference.broadnet.ai/?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-blog-llm-api-failover-fallback&utm_content=body) at subukan ang chain mo gamit ang $5 na panimulang credit sa Gemma 4 VL 26B. Kailangan ng top-up para sa GLM 5.3 at Qwen3.8 27B.

Mga libreng tool para rito (Ingles)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Libreng tools (Ingles)](https://broadrouter.com/tools/)

## Mga termino sa artikulong ito

[Token](https://broadrouter.com/fil/glossary/token/)

Ang token ay ang yunit ng text na binabasa at isinusulat ng isang language model: isang salita, bahagi ng salita, bantas o byte sequence na ginawa ng tokenizer ng model. Sa token binibilang, nililimitahan at kadalasang sinisingil ng mga LLM API ang paggamit.

[Concurrency](https://broadrouter.com/fil/glossary/concurrency/)

Ang concurrency ay ang bilang ng request na sabay-sabay na in flight mula sa isang client. Madalas itong nililimitahan ng mga LLM API kada key o plan, hiwalay sa requests per minute, dahil humahawak ng GPU capacity ang bawat bukas na request hanggang matapos ang response nito.

[API key](https://broadrouter.com/fil/glossary/api-key/)

Ang API key ay isang lihim na string na kumikilala at nagpapahintulot sa client na tumatawag sa isang API. Kadalasang hinihingi ito ng mga LLM API sa Authorization: Bearer header, at ang sinumang may hawak ng key ay makakagawa ng mga request na sisingilin sa account na may-ari nito.

[Base URL](https://broadrouter.com/fil/glossary/base-url/)

Ang base URL ay ang fixed na root address ng isang API, gaya ng https://api.example.com/v1, na idinudugtong ng client sa unahan ng bawat endpoint path, gaya ng /chat/completions. Sa mga OpenAI-compatible SDK, kapag pinalitan ang base URL, kasama ang API key at model ID, sa ibang provider na tatawag ang parehong code.

[Context window](https://broadrouter.com/fil/glossary/context-window/)

Ang context window ay ang pinakamaraming token na kayang hawakan ng isang language model sa iisang request. Sakop nito ang prompt, history ng usapan, tool definitions, mga larawan at ang nabuong output, kasama ang anumang reasoning tokens. Ang hindi kasya ay kailangang bawasan, ibuod o hatiin sa ilang request.

[Exponential backoff](https://broadrouter.com/fil/glossary/exponential-backoff/)

Ang exponential backoff ay estratehiya sa pag-retry kung saan mas matagal na naghihintay ang client pagkatapos ng bawat pumalyang attempt, kadalasang dinodoble ang delay hanggang sa isang cap, bago sumubok ulit. Ikinakalat ng random na jitter sa bawat paghihintay ang mga retry ng maraming client para hindi sila sabay-sabay na tumama sa server.

[Open-weight model](https://broadrouter.com/fil/glossary/open-weight-model/)

Ang open-weight model ay machine learning model na inilathala ang trained weights para i-download at patakbuhin ng kahit sino, kadalasan sa ilalim ng lisensyang may kondisyon. Iba ito sa ganap na open-source AI, na naglalabas din ng training code at detalyadong impormasyon tungkol sa training data para mapag-aralan at ma-reproduce ng iba ang model.

[Pay-as-you-go](https://broadrouter.com/fil/glossary/pay-as-you-go/)

Ang pay-as-you-go ay paraan ng pagpepresyo kung saan ang nagamit mo lang ang binabayaran mo, sinusukat kada yunit gaya ng token, request o minuto ng audio, nang walang subscription o minimum na commitment. Ganito naniningil ang karamihan ng LLM API, mula sa prepaid na balance o sa pana-panahong invoice.

## Mga tanong

### Aling mga error ang dapat mag-trigger ng LLM API fallback?

Connection error, timeout, 5xx at rate-limit na 429, pagkatapos ng sariling retry ng SDK. Huwag mag-failover sa 400, 401, 402, 403, 413 o 422: mali ang request o ang account, at babagsak din sa parehong paraan ang susunod na provider o matatabunan nito ang problema sa billing.

### Awtomatiko bang nagfa-failover ang BroadNet sa ibang provider?

Hindi. Hindi nagro-route ng request ang BroadNet Inference sa pagitan ng mga model o provider, at ang BroadRouter, ang site na ito, ay information site ng BroadNet, hindi router. Ikaw ang gagawa ng fallback sa client mo o sa isang gateway gaya ng LiteLLM.

### Puwede ko bang gamitin ang parehong model ID sa bawat provider?

Hindi. Iba-iba ang pangalan ng parehong open-weight na model sa bawat provider. \`broadnet/glm-5.3\` ang GLM 5.3 sa BroadNet, \`zai-org/GLM-5.3\` sa DeepInfra at \`accounts/fireworks/models/glm-5p3\` sa Fireworks (sinuri noong Nobyembre 15, 2026). Magtabi ng mapping kada provider.

### May bayad ba ang mga pumalyang attempt?

Puwede. Hindi patunay ang timeout sa panig mo na tumigil na sa pagtatrabaho ang provider, at sa per-token na billing, bagong inference ang bawat retry. Maglaan ng budget para sa ilang request na dalawang beses masisingil, at lagyan ng limit ang attempt kada request.

### Dapat bang pareho ang privacy terms ng fallback provider?

Oo. Ang fallback ay isa pang processor na nakakakita ng parehong mga prompt. Suriin ang retention, training at lokasyon ng pagproseso nito bago mo ito idagdag, kung hindi ay totoo lang ang privacy promise mo habang up ang primary.

### May SLA ba ang BroadNet?

Wala para sa self-serve. Sinasabi ng terms ng BroadNet (section 7.4) na walang availability commitment ang self-serve; may service level lang sa isang hiwalay na nakasulat na kasunduan.

## Magbasa pa

-   [Paano ayusin ang 429 error sa LLM API: backoff, jitter at limiter](https://broadrouter.com/fil/blog/handle-llm-api-429-rate-limits/)
-   [Matagal na tumatakbong agent: timeout, retry at checkpoint na matibay](https://broadrouter.com/fil/blog/long-running-agents-timeouts-retries/)
-   [Base URL ng OpenAI-compatible API: 14 na provider, sinuri](https://broadrouter.com/fil/blog/openai-compatible-api-base-urls/)
-   [LLM API SLA: ano ang pangako ng Azure, Bedrock, Google at OpenAI](https://broadrouter.com/fil/blog/llm-api-sla-uptime-compared/)
-   [Paano mag-evaluate ng LLM bago lumipat ng provider](https://broadrouter.com/fil/blog/evaluate-llm-before-switching/)
-   [GPU hardware at paraan ng serving ng BroadNet, ayon sa BroadNet](https://broadrouter.com/fil/blog/broadnet-gpu-fleet-and-serving/)
-   [I-cache ang LLM API response, makatipid: exact-match cache sa Python](https://broadrouter.com/fil/blog/cache-llm-responses-cut-cost/)
-   [Gabay: Mga error code ng BroadNet Inference at kailan dapat mag-retry](https://broadrouter.com/fil/guides/errors-and-retries/)
-   [Gabay: Paano i-route ang LiteLLM sa BroadNet Inference (SDK at proxy)](https://broadrouter.com/fil/guides/litellm-proxy-custom-provider/)
-   [Gabay: Paano gamitin ang OpenAI Python SDK sa BroadNet Inference](https://broadrouter.com/fil/guides/openai-python-sdk/)

Subukan ito sa totoong workload mo. May US$5 na panimulang credit ang mga bagong account para sa Gemma at transcription. Kailangan ng top-up para sa DeepSeek, GLM, at Qwen3.8.

[Magsimula](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-blog-llm-api-failover-fallback&utm_content=page-cta) ·

**Mga source**

-   [API reference ng BroadNet Inference: errors at retries, mga limit, streaming, kakayahan ng model (sinuri noong 2026-11-15) (Ingles)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-blog-llm-api-failover-fallback&utm_content=sources)
-   [Terms of service ng BroadNet, section 7.3a (lokasyon ng pagproseso) at 7.4 (availability) (sinuri noong 2026-11-15) (Ingles)](https://www.broadnet.ai/terms)
-   [Inference privacy statement ng BroadNet: walang itinatagong content, walang training, hardware sa US na may partner na backup (sinuri noong 2026-11-15) (Ingles)](https://www.broadnet.ai/inference-privacy)
-   [README ng OpenAI Python SDK: retries, timeouts at error classes (sinuri noong 2026-11-15)](https://github.com/openai/openai-python)
-   [Docs ng LiteLLM, proxy reliability: fallbacks, num\_retries, allowed\_fails, cooldown\_time (sinuri noong 2026-11-15)](https://docs.litellm.ai/docs/proxy/reliability)
-   [Docs ng DeepInfra, chat overview: OpenAI-compatible na base URL (sinuri noong 2026-11-15)](https://docs.deepinfra.com/chat/overview)
-   [Model page ng DeepInfra, zai-org/GLM-5.3: context, function calling at JSON support (sinuri noong 2026-11-15)](https://deepinfra.com/zai-org/GLM-5.3)
-   [Model page ng Fireworks AI, GLM 5.3: model ID, context at tool support (sinuri noong 2026-11-15)](https://fireworks.ai/models/fireworks/glm-5p3)
