---
title: "Failover API LLM sang nhà cung cấp dự phòng, bằng Python"
description: "Cách failover giữa các nhà cung cấp LLM tương thích OpenAI: lỗi nào cần chuyển, circuit breaker, ánh xạ model ID, streaming, chi phí và điều khoản dữ liệu."
url: https://broadrouter.com/vi/blog/llm-api-failover-fallback/
lang: vi
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Được dịch từ tiếng Anh với sự hỗ trợ của AI. [Đọc bản gốc tiếng Anh](https://broadrouter.com/blog/llm-api-failover-fallback/) (cập nhật ngày 2026-11-16).

# Failover API LLM: chuyển sang nhà cung cấp thứ hai bằng code của bạn

Đội ngũ BroadNet Inference · 8 phút đọc · Đăng ngày 2026-11-15 · Cập nhật 2026-11-16

Giữ một danh sách có thứ tự các nhà cung cấp tương thích OpenAI, mỗi nhà có client và model ID riêng. Failover khi gặp lỗi kết nối, timeout, 5xx và 429 do giới hạn tốc độ, sau khi SDK retry xong. Đừng bao giờ failover với 400, 401, 402, 403, 413 hay 422. Thêm circuit breaker, và kiểm tra nhà dự phòng khớp với nhà chính về tính năng và điều khoản dữ liệu.

## Ý chính

-   Failover khi gặp lỗi kết nối, timeout, 5xx và 429 do giới hạn tốc độ, sau một số lần retry có giới hạn. Lỗi 400, 401, 402, 403, 413 hay 422 sẽ thất bại y hệt ở nhà cung cấp tiếp theo.
-   Model ID khác nhau theo nhà cung cấp: GLM 5.3 là \`broadnet/glm-5.3\` trên BroadNet, \`zai-org/GLM-5.3\` trên DeepInfra và \`accounts/fireworks/models/glm-5p3\` trên Fireworks.
-   Circuit breaker giúp bạn không phải chờ hết timeout ở mỗi request trong lúc nhà chính đang sập.
-   Chỉ failover một stream trước token đầu tiên, và đừng bao giờ chạy lại một tool call có làm thay đổi thứ gì đó.
-   BroadNet và BroadRouter không định tuyến hay failover thay bạn. Gói tự phục vụ của BroadNet không có cam kết về độ sẵn sàng, nên ứng dụng production nên có phương án dự phòng.

**Trong trang này**

1.  Vì sao cần giữ một nhà cung cấp dự phòng?
2.  Lỗi nào nên kích hoạt failover?
3.  Failover trong Python trông như thế nào?
4.  Ánh xạ model ID giữa các nhà cung cấp thế nào?
5.  Làm sao giữ câu trả lời tương đương sau khi chuyển?
6.  Còn streaming và tool call thì sao?
7.  Failover tốn chi phí gì?
8.  Nhà dự phòng có đáp ứng cùng điều khoản dữ liệu không?
9.  Có nên dùng gateway như LiteLLM thay thế không?
10.  Làm sao kiểm thử failover trước khi cần đến?
11.  BroadNet Inference phù hợp ở đâu

API LLM nào cũng có những phút tồi tệ: một lỗi 503, một lần timeout, một loạt 429. Có phương án dự phòng (fallback) nghĩa là những phút đó không biến thành sự cố trong ứng dụng của bạn. Bài này hướng dẫn cách failover giữa các nhà cung cấp [tương thích OpenAI](https://broadrouter.com/vi/glossary/openai-compatible-api/) bằng chính code của bạn. Bài đề cập lỗi nào nên kích hoạt failover, cách circuit breaker giữ cho nó nhanh, và những gì phải khớp giữa các nhà cung cấp để người dùng không nhận ra sự chuyển đổi.

Một điều cần nói trước: **BroadNet Inference không định tuyến hay failover giữa các nhà cung cấp thay bạn**, BroadRouter cũng vậy. BroadRouter là website của chính BroadNet, không phải router. Bạn tự xây phương án dự phòng, trong client như bên dưới hoặc trong một gateway như LiteLLM.

## Vì sao cần giữ một nhà cung cấp dự phòng?

Vì phần lớn API tự phục vụ không hứa gì về uptime. [Điều khoản](https://www.broadnet.ai/terms) của BroadNet nói rõ ở mục 7.4: “self-serve has no availability commitment” (bản dịch: gói tự phục vụ không có cam kết về độ sẵn sàng), và mức dịch vụ chỉ tồn tại trong một thỏa thuận bằng văn bản riêng (kiểm tra ngày 15 tháng 11 năm 2026). [Bài so sánh SLA API LLM](https://broadrouter.com/vi/blog/llm-api-sla-uptime-compared/) đề cập những gì các nhà cung cấp khác cam kết. Nếu tính năng của bạn phải luôn chạy, một nhà cung cấp thứ hai là bảo hiểm thực tế, dù SLA nói gì đi nữa.

[Giới hạn tốc độ](https://broadrouter.com/vi/glossary/rate-limit/) là lý do thứ hai. Một key trả theo mức dùng của BroadNet cho phép 30 request mỗi phút và 4 request đồng thời. Một đợt traffic tăng vọt vượt mức đó sẽ trả về 429, và nhà cung cấp thứ hai có thể gánh phần tràn trong lúc bạn nâng dung lượng.

## Lỗi nào nên kích hoạt failover?

Hãy chia lỗi thành hai nhóm. Một số là lỗi của nhà cung cấp và có thể thành công ở nơi khác. Số còn lại là lỗi của bạn và sẽ thất bại ở mọi nơi.

| Lỗi | Failover? | Lý do |
| --- | --- | --- |
| Lỗi kết nối, timeout | Có, sau khi retry | Không truy cập được nhà cung cấp hoặc mạng |
| 500, 502, 503, 504 | Có, sau khi retry | Tài liệu BroadNet bảo hãy “retry with bounded exponential backoff” (bản dịch: retry bằng exponential backoff có giới hạn) trước |
| 429, giới hạn tốc độ hoặc đồng thời | Có, sau khi backoff | Hết dung lượng ở nhà cung cấp này, không phải request sai |
| 429, giới hạn chi tiêu | Không | Failover sẽ vượt qua ngân sách bạn cố ý đặt ra |
| 400, 422 | Không | Request không hợp lệ và cũng sẽ thất bại ở nhà cung cấp tiếp theo |
| 401, 402 | Không | Key, hạn mức hoặc số dư. Trên BroadNet, 401 còn bao gồm trường hợp hết hạn mức trả theo mức dùng, nên failover sẽ che giấu vấn đề thanh toán |
| 403, 413 | Không | Chính sách hoặc kích thước; hãy sửa request |

[Tài liệu tham chiếu API](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-blog-llm-api-failover-fallback&utm_content=body) của BroadNet nói 429 nghĩa là “a rate, concurrency, token-rate or spending limit was reached” (bản dịch: đã chạm giới hạn tốc độ, đồng thời, tốc độ token hoặc chi tiêu) và bảo hãy “use response details and bounded backoff” (bản dịch: dùng chi tiết trong phản hồi và backoff có giới hạn). Hãy đọc các chi tiết đó trước khi failover, để một lỗi 429 do giới hạn chi tiêu dừng request lại thay vì chuyển nó đi. [Hướng dẫn mã lỗi](https://broadrouter.com/vi/guides/errors-and-retries/) liệt kê mọi trạng thái.

Hãy retry trước khi failover. OpenAI Python SDK vốn đã retry lỗi kết nối, 408, 409, 429 và phản hồi 5xx “2 times by default, with a short exponential backoff” (bản dịch: 2 lần theo mặc định, với exponential backoff ngắn), và timeout mặc định là 10 phút ([README](https://github.com/openai/openai-python), kiểm tra ngày 15 tháng 11 năm 2026). Mười phút là quá lâu để chờ trước khi failover. Hãy đặt `timeout` cho từng client. [Bài xử lý lỗi 429](https://broadrouter.com/vi/blog/handle-llm-api-429-rate-limits/) đề cập backoff với jitter.

## Failover trong Python trông như thế nào?

Hai client, một danh sách có thứ tự và một circuit breaker nhỏ. Nhà chính là GLM 5.3 trên BroadNet. Nhà dự phòng là cùng model trọng số mở trên DeepInfra, có tài liệu cho base URL là `https://api.deepinfra.com/v1/openai` (kiểm tra ngày 15 tháng 11 năm 2026).

```python
import os
import time
from openai import (OpenAI, APIConnectionError, APITimeoutError,
                    RateLimitError, InternalServerError)

PROVIDERS = [
    {"name": "broadnet", "model": "broadnet/glm-5.3",
     "client": OpenAI(base_url="https://inference.broadnet.ai/v1",
                      api_key=os.environ["BROADNET_API_KEY"],
                      max_retries=2, timeout=60)},
    {"name": "deepinfra", "model": "zai-org/GLM-5.3",
     "client": OpenAI(base_url="https://api.deepinfra.com/v1/openai",
                      api_key=os.environ["DEEPINFRA_API_KEY"],
                      max_retries=2, timeout=60)},
]

# Provider-side failures only. 400, 401, 402, 403 and 422 raise straight through.
FAILOVER_ON = (APIConnectionError, APITimeoutError, RateLimitError, InternalServerError)
TRIP_AFTER = 3     # consecutive failures before the breaker opens
COOLDOWN = 30      # seconds to skip a provider once its breaker is open
state = {p["name"]: {"fails": 0, "open_until": 0.0} for p in PROVIDERS}

def chat(messages, **kwargs):
    last_error = None
    for p in PROVIDERS:
        s = state[p["name"]]
        if time.monotonic() < s["open_until"]:
            continue  # breaker open: don't wait on a provider that is down
        try:
            reply = p["client"].chat.completions.create(
                model=p["model"], messages=messages, **kwargs)
            s["fails"] = 0
            return p["name"], reply
        except FAILOVER_ON as err:
            last_error = err
            s["fails"] += 1
            if s["fails"] >= TRIP_AFTER:
                s["open_until"] = time.monotonic() + COOLDOWN
    raise RuntimeError("every provider failed") from last_error

served_by, reply = chat([{"role": "user", "content": "Reply with one short sentence."}],
                        max_tokens=1000)
print(served_by, reply.model, reply.choices[0].message.content)
```

Bốn chi tiết quan trọng:

1.  **Các lớp exception.** SDK ném `RateLimitError` cho 429, `InternalServerError` cho 500 trở lên, và `APIConnectionError` (với `APITimeoutError` là lớp con) khi không kết nối được. Mọi lỗi khác được cố ý để không bắt. Để loại trừ 429 do giới hạn chi tiêu, hãy kiểm tra `err.response` trước khi tiếp tục.
2.  **Circuit breaker.** Không có nó, mỗi request phải chờ hết timeout ở nhà chính đã chết rồi mới chuyển tiếp. Sau ba lần thất bại liên tiếp, nhà chính bị bỏ qua trong 30 giây. Sau đó, request tiếp theo sẽ thử lại nó.
3.  **Ghi log ai đã phục vụ.** Trả về tên nhà cung cấp và giữ `reply.model`. Khi chất lượng thay đổi, bạn cần biết nhà cung cấp nào đã trả lời.
4.  **Ngân sách suy luận.** GLM 5.3 suy luận trước khi trả lời. Tài liệu BroadNet nói suy luận được tính vào `max_tokens`, nên hãy để từ 1.000 trở lên ở mọi nhà cung cấp.

## Ánh xạ model ID giữa các nhà cung cấp thế nào?

Cùng một model trọng số mở có ID khác nhau ở mỗi nhà host, và các tính năng mỗi nhà host liệt kê cũng có thể khác. GLM 5.3 vào ngày 15 tháng 11 năm 2026:

|  | BroadNet Inference | DeepInfra | Fireworks AI |
| --- | --- | --- | --- |
| Model ID | `broadnet/glm-5.3` | `zai-org/GLM-5.3` | `accounts/fireworks/models/glm-5p3` |
| Context | 1.048.576 token | 1.048.576 token | “1040k” token |
| Tool | Có tài liệu | Có ghi “Function” | Hỗ trợ |
| Đầu ra có cấu trúc | Có tài liệu | Có ghi “JSON” | Chưa kiểm tra |

Từ đó có hai quy tắc. Thứ nhất, giữ bảng ánh xạ trong config, đừng rải rác trong code. Thứ hai, chọn nhà dự phòng khớp với những gì request của bạn dùng. Trên BroadNet, tool và đầu ra có cấu trúc chỉ có tài liệu cho GLM 5.3 và Qwen3.8 27B. Một agent dùng tool calling có thể failover từ GLM 5.3 sang GLM 5.3 ở nơi khác. Nó không thể failover an toàn sang một model không có tài liệu về tool. Nếu nhà dự phòng có cửa sổ context nhỏ hơn, hãy cắt bớt prompt hoặc bỏ qua nhà dự phòng đó cho các request dài. Base URL của 14 nhà cung cấp có trong [bảng tham chiếu base URL](https://broadrouter.com/vi/blog/openai-compatible-api-base-urls/).

## Làm sao giữ câu trả lời tương đương sau khi chuyển?

Cùng một bộ trọng số ở hai nhà host vẫn có thể trả lời khác nhau, vì nhà host có thể phục vụ ở độ chính xác, chat template hay tham số mặc định khác nhau. Một model khác thì chắc chắn trả lời khác.

-   Chạy [bộ đánh giá](https://broadrouter.com/vi/blog/evaluate-llm-before-switching/) với mọi mục trong danh sách, không chỉ nhà chính.
-   Cố định `temperature`, `max_tokens` và system prompt cho từng request, để giá trị mặc định của nhà cung cấp không thay đổi đầu ra.
-   Validate đầu ra có cấu trúc theo cùng một cách trên mọi đường đi. [Sửa JSON không hợp lệ](https://broadrouter.com/vi/blog/fix-invalid-json-from-llm/) đề cập vòng lặp sửa rồi retry.
-   Ưu tiên cùng model ở nơi khác hơn là model khác ở cùng nhà host. Người dùng nhận ra thay đổi văn phong nhiều hơn là vài giây độ trễ.

## Còn streaming và tool call thì sao?

Một stream có thể thất bại giữa chừng. Tài liệu BroadNet nói một stream kết thúc trước `data: [DONE]` cần được coi là chưa hoàn chỉnh: hãy ghi lại `X-Request-ID` và quyết định xem ứng dụng có thể gửi request mới một cách an toàn hay không.

-   **Trước token đầu tiên:** failover thoải mái. Người dùng chưa thấy gì.
-   **Sau khi token đã hiển thị:** khởi động lại ở nhà dự phòng và thay thế câu trả lời dở dang, hoặc hiển thị lỗi kèm nút thử lại. Ghép hai nửa câu trả lời từ hai nhà cung cấp đọc rất tệ.
-   **Tool call có tác dụng phụ:** đừng bao giờ chạy lại một bước gửi email, trừ tiền thẻ hay ghi vào cơ sở dữ liệu chỉ vì lời gọi model thất bại. Hãy gán cho mỗi hành động một [idempotency key](https://broadrouter.com/vi/glossary/idempotency-key/). [Agent chạy lâu](https://broadrouter.com/vi/blog/long-running-agents-timeouts-retries/) đề cập checkpoint.

[Streaming với SSE](https://broadrouter.com/vi/blog/llm-streaming-sse-explained/) giải thích cách phát hiện một stream kết thúc sớm.

## Failover tốn chi phí gì?

-   **Việc bị làm trùng.** Timeout ở phía bạn không chứng minh nhà cung cấp đã dừng. Khi tính phí theo token, mỗi lần retry là một lần inference mới, nên hãy dự trù trả tiền hai lần cho một số request.
-   **Giá khác nhau.** Nhà dự phòng tính theo giá riêng của họ. DeepInfra niêm yết giá khuyến mãi cho GLM-5.3 vào ngày 15 tháng 11 năm 2026, nên hãy kiểm tra lại trước khi lập ngân sách. BroadNet tính $0.78 đầu vào, $0.173 đầu vào từ cache và $3.46 đầu ra mỗi 1M token.
-   **Cache nguội.** Đầu vào từ cache không chuyển được giữa các nhà cung cấp. Các request đầu tiên ở nhà dự phòng phải trả giá đầu vào đầy đủ cho phần đầu prompt vốn đã được cache ở nhà chính. Xem [token đầu vào từ cache](https://broadrouter.com/vi/blog/cached-input-tokens-explained/).
-   **Hedging.** Gửi mọi request tới hai nhà cung cấp cùng lúc và giữ câu trả lời đến trước giúp giảm độ trễ đuôi, nhưng gần như nhân đôi hóa đơn. Chỉ dùng ở nơi độ trễ đáng với cái giá đó.

## Nhà dự phòng có đáp ứng cùng điều khoản dữ liệu không?

Nhà cung cấp dự phòng là một bên xử lý khác nhận cùng các prompt. Nếu bạn đã hứa với khách hàng điều gì về dữ liệu của họ, lời hứa đó phải đúng với mọi mục trong danh sách.

[Tuyên bố quyền riêng tư](https://www.broadnet.ai/inference-privacy) của BroadNet viết: “We do not retain prompts, audio, images, answers or transcripts” (bản dịch: Chúng tôi không lưu giữ prompt, âm thanh, hình ảnh, câu trả lời hay bản chép lời). Nội dung inference không được lưu giữ; metadata cần thiết về tài khoản, thanh toán và bảo mật được giữ như tuyên bố đó mô tả. Tuyên bố cũng nói dữ liệu inference không được dùng để huấn luyện, tinh chỉnh hay đánh giá model. Tuyên bố nói các model được host “run on BroadNet-owned or leased hardware in the United States, with partner capacity as backup” (bản dịch: chạy trên phần cứng BroadNet sở hữu hoặc thuê tại Hoa Kỳ, với dung lượng của đối tác làm dự phòng); DeepSeek V4.1 Flash do đối tác host. Với dữ liệu có yêu cầu lưu trú dữ liệu, điều khoản (mục 7.3a) bảo hãy thống nhất địa điểm xử lý trước khi gửi. Hãy kiểm tra cùng các điểm đó ở nhà dự phòng: lưu giữ, dùng để huấn luyện, địa điểm và bên xử lý phụ. Nếu không đạt, hãy để các request nhạy cảm ngoài đường dự phòng và cho chúng thất bại ở trạng thái đóng (fail closed). [Checklist không lưu giữ dữ liệu](https://broadrouter.com/vi/blog/zero-data-retention-llm-api-checklist/) liệt kê các câu hỏi cần đặt ra.

## Có nên dùng gateway như LiteLLM thay thế không?

Hãy dùng gateway nếu nhiều dịch vụ cần cùng quy tắc dự phòng. Proxy của LiteLLM nhận một danh sách `fallbacks` được thử theo thứ tự. `num_retries` retry một nhóm model trước khi chuyển sang dự phòng. `allowed_fails` và `cooldown_time` tạm loại một deployment đang lỗi, hoạt động như một circuit breaker. Các thiết lập riêng `context_window_fallbacks` và `content_policy_fallbacks` xử lý các loại lỗi đó ([tài liệu LiteLLM](https://docs.litellm.ai/docs/proxy/reliability), kiểm tra ngày 15 tháng 11 năm 2026):

```yaml
model_list:
  - model_name: glm
    litellm_params:
      model: openai/broadnet/glm-5.3
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY
  - model_name: glm-backup
    litellm_params:
      model: openai/zai-org/GLM-5.3
      api_base: https://api.deepinfra.com/v1/openai
      api_key: os.environ/DEEPINFRA_API_KEY

router_settings:
  fallbacks: [{"glm": ["glm-backup"]}]
  allowed_fails: 3
  cooldown_time: 30

litellm_settings:
  num_retries: 2
  request_timeout: 60
```

[Hướng dẫn LiteLLM proxy](https://broadrouter.com/vi/guides/litellm-proxy-custom-provider/) trình bày đầy đủ mục BroadNet. Cả hai mục đều dùng tiền tố chung `openai/` của LiteLLM cùng với `api_base`, đúng mẫu mà hướng dẫn dùng. Gateway thêm một chặng và thêm một thứ phải duy trì. Với một ứng dụng đơn lẻ, khoảng 40 dòng trong client như trên là đủ.

## Làm sao kiểm thử failover trước khi cần đến?

1.  Trỏ nhà chính tới một host không truy cập được trong config kiểm thử và xác nhận request rơi vào nhà dự phòng.
2.  Gửi một request cố ý sai và xác nhận nó **không** failover.
3.  Dùng key nhà chính không hợp lệ và xác nhận lỗi 401 hiện ra như một lỗi, không phải một lần chuyển đổi âm thầm.
4.  Theo dõi breaker: sau ba lần thất bại, nhà chính phải bị bỏ qua mà không chờ timeout.
5.  Cảnh báo khi nhà dự phòng phục vụ nhiều hơn một phần nhỏ traffic. Failover âm thầm có thể che giấu một nhà chính bị hỏng trong nhiều ngày.

`Router` của LiteLLM nhận `mock_testing_fallbacks=True` trong kiểm thử trực tiếp để buộc chuyển sang dự phòng.

## BroadNet Inference phù hợp ở đâu

BroadRouter là website của BroadNet, và BroadNet Inference có thể là bất kỳ mục nào trong danh sách của bạn. Làm nhà chính, nó cho bạn GLM 5.3 và Qwen3.8 27B có tài liệu về tool và đầu ra có cấu trúc, cùng Gemma 4 VL 26B và DeepSeek V4.1 Flash, trên một [base URL](https://broadrouter.com/vi/glossary/base-url/) và không lưu nội dung. Làm nhà dự phòng, nó là thêm một endpoint tương thích OpenAI để đưa vào danh sách. Dù thế nào, logic failover là của bạn: BroadNet không định tuyến giữa các nhà cung cấp, và gói tự phục vụ không có SLA. Nếu bạn cần mức dịch vụ theo hợp đồng, điều đó chỉ có với một thỏa thuận bằng văn bản riêng. So sánh các [model](https://broadrouter.com/vi/models/), hoặc [tạo tài khoản](https://inference.broadnet.ai/?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-blog-llm-api-failover-fallback&utm_content=body) và thử chuỗi failover của bạn bằng tín dụng ban đầu $5 trên Gemma 4 VL 26B. GLM 5.3 và Qwen3.8 27B cần nạp tiền.

Công cụ miễn phí cho chủ đề này (tiếng Anh)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Công cụ miễn phí (tiếng Anh)](https://broadrouter.com/tools/)

## Thuật ngữ trong bài này

[Token](https://broadrouter.com/vi/glossary/token/)

Token là đơn vị văn bản mà model ngôn ngữ đọc và viết: một từ, một phần của từ, một dấu câu hoặc một chuỗi byte do tokenizer của model tạo ra. API LLM đếm, giới hạn và thường tính phí theo token.

[Exponential backoff (lùi thời gian theo cấp số nhân)](https://broadrouter.com/vi/glossary/exponential-backoff/)

Exponential backoff là chiến lược thử lại trong đó client chờ lâu hơn sau mỗi lần thất bại trước khi thử tiếp, thường nhân đôi độ trễ cho tới một mức trần. Thêm jitter ngẫu nhiên vào mỗi lần chờ giúp dàn trải các lần thử lại từ nhiều client để chúng không đổ dồn vào server cùng lúc.

[Base URL](https://broadrouter.com/vi/glossary/base-url/)

Base URL là địa chỉ gốc cố định của một API, như https://api.example.com/v1, mà client đặt trước mọi đường dẫn endpoint, như /chat/completions. Trong SDK tương thích OpenAI, đổi base URL cùng với API key và model ID sẽ trỏ cùng một đoạn code sang nhà cung cấp khác.

[Đầu ra có cấu trúc (structured output)](https://broadrouter.com/vi/glossary/structured-output/)

Đầu ra có cấu trúc (structured output) là tính năng của API LLM buộc câu trả lời của model theo định dạng do lập trình viên chỉ định, thường là JSON Schema, để code parse được tin cậy. Nó chặt hơn JSON mode, vốn chỉ đảm bảo JSON hợp lệ chứ không đảm bảo một cấu trúc cụ thể.

[Giới hạn tần suất (rate limit)](https://broadrouter.com/vi/glossary/rate-limit/)

Giới hạn tần suất (rate limit) là mức trần mà API đặt ra cho lượng sử dụng của một client trong một khoảng thời gian, như số request mỗi phút hoặc số token mỗi phút. Request vượt giới hạn bị từ chối, thường với HTTP 429 Too Many Requests, cho đến khi mức dùng giảm xuống dưới giới hạn.

[Trả theo mức dùng (pay-as-you-go)](https://broadrouter.com/vi/glossary/pay-as-you-go/)

Trả theo mức dùng (pay-as-you-go) là mô hình giá mà bạn chỉ trả cho những gì đã dùng, đo theo đơn vị như token, request hoặc phút âm thanh, không có gói đăng ký hay cam kết tối thiểu. Hầu hết API LLM tính phí theo cách này, trừ vào số dư trả trước hoặc qua hóa đơn định kỳ.

[Concurrency (request đồng thời)](https://broadrouter.com/vi/glossary/concurrency/)

Concurrency (request đồng thời) là số request mà một client đang xử lý cùng lúc. Các API LLM thường giới hạn nó theo key hoặc theo gói, tách biệt với số request mỗi phút, vì mỗi request đang mở chiếm dụng năng lực GPU cho tới khi response kết thúc.

[Độ trễ (latency)](https://broadrouter.com/vi/glossary/latency/)

Với API model ngôn ngữ, độ trễ (latency) là thời gian từ lúc gửi request tới khi nhận được token đầu ra cuối cùng. Nó bằng thời gian tới token đầu tiên cộng thời gian sinh, và thường được báo cáo theo percentile như p50 và p95 thay vì giá trị trung bình.

## Câu hỏi thường gặp

### Lỗi nào nên kích hoạt chuyển sang nhà cung cấp dự phòng?

Lỗi kết nối, timeout, 5xx và 429 do giới hạn tốc độ, sau khi SDK đã tự retry. Đừng failover với 400, 401, 402, 403, 413 hay 422: request hoặc tài khoản đang sai, và nhà cung cấp tiếp theo sẽ thất bại y hệt hoặc che giấu một vấn đề thanh toán.

### BroadNet có tự động failover sang nhà cung cấp khác không?

Không. BroadNet Inference không định tuyến request giữa các model hay nhà cung cấp, và BroadRouter, chính trang này, là trang thông tin của BroadNet, không phải router. Bạn tự xây phương án dự phòng trong client hoặc trong một gateway như LiteLLM.

### Có dùng cùng một model ID ở mọi nhà cung cấp được không?

Không. Mỗi nhà cung cấp đặt tên cùng một model trọng số mở theo cách khác. GLM 5.3 là \`broadnet/glm-5.3\` trên BroadNet, \`zai-org/GLM-5.3\` trên DeepInfra và \`accounts/fireworks/models/glm-5p3\` trên Fireworks (kiểm tra ngày 15 tháng 11 năm 2026). Hãy giữ một bảng ánh xạ theo từng nhà cung cấp.

### Các lần thử thất bại có tốn tiền không?

Có thể. Timeout ở phía bạn không chứng minh nhà cung cấp đã dừng xử lý, và khi tính phí theo token, mỗi lần retry là một lần inference mới. Hãy dự trù ngân sách cho một số request bị tính phí hai lần và giới hạn số lần thử mỗi request.

### Nhà cung cấp dự phòng có cần cùng điều khoản quyền riêng tư không?

Có. Nhà dự phòng là một bên xử lý khác nhìn thấy cùng các prompt. Hãy kiểm tra điều khoản lưu giữ, huấn luyện và địa điểm xử lý trước khi thêm vào, nếu không cam kết quyền riêng tư của bạn chỉ đúng khi nhà chính đang chạy.

### BroadNet có SLA không?

Không cho gói tự phục vụ. Điều khoản của BroadNet (mục 7.4) nói gói tự phục vụ không có cam kết về độ sẵn sàng; mức dịch vụ chỉ tồn tại trong một thỏa thuận bằng văn bản riêng.

## Đọc tiếp

-   [Cách xử lý lỗi 429 của API LLM: backoff, jitter và giới hạn đồng thời](https://broadrouter.com/vi/blog/handle-llm-api-429-rate-limits/)
-   [Agent chạy dài: timeout, retry và checkpoint đứng vững](https://broadrouter.com/vi/blog/long-running-agents-timeouts-retries/)
-   [Base URL của API tương thích OpenAI: 14 nhà cung cấp, đã kiểm tra](https://broadrouter.com/vi/blog/openai-compatible-api-base-urls/)
-   [So sánh SLA API LLM: Azure, Bedrock, Google và OpenAI cam kết gì](https://broadrouter.com/vi/blog/llm-api-sla-uptime-compared/)
-   [Cách đánh giá LLM trước khi đổi nhà cung cấp](https://broadrouter.com/vi/blog/evaluate-llm-before-switching/)
-   [Phần cứng GPU và cách phục vụ model của BroadNet, theo lời BroadNet](https://broadrouter.com/vi/blog/broadnet-gpu-fleet-and-serving/)
-   [Cache phản hồi API LLM để giảm chi phí: cache khớp chính xác (Python)](https://broadrouter.com/vi/blog/cache-llm-responses-cut-cost/)
-   [Hướng dẫn: Mã lỗi BroadNet Inference và khi nào nên thử lại](https://broadrouter.com/vi/guides/errors-and-retries/)
-   [Hướng dẫn: Kết nối LiteLLM tới BroadNet Inference (SDK và proxy)](https://broadrouter.com/vi/guides/litellm-proxy-custom-provider/)
-   [Hướng dẫn: Dùng OpenAI Python SDK với BroadNet Inference](https://broadrouter.com/vi/guides/openai-python-sdk/)

Hãy thử với khối lượng công việc thực tế của bạn. Tài khoản mới được tặng US$5 tín dụng ban đầu cho Gemma và chuyển giọng nói thành văn bản. DeepSeek, GLM và Qwen3.8 cần nạp tiền.

[Bắt đầu](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-blog-llm-api-failover-fallback&utm_content=page-cta) ·

**Nguồn**

-   [Tài liệu tham chiếu API BroadNet Inference: lỗi và retry, giới hạn, streaming, khả năng của model (kiểm tra ngày 2026-11-15) (tiếng Anh)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-blog-llm-api-failover-fallback&utm_content=sources)
-   [Điều khoản dịch vụ BroadNet, mục 7.3a (địa điểm xử lý) và 7.4 (độ sẵn sàng) (kiểm tra ngày 2026-11-15) (tiếng Anh)](https://www.broadnet.ai/terms)
-   [Tuyên bố quyền riêng tư inference của BroadNet: không lưu nội dung, không huấn luyện, phần cứng tại Mỹ với dự phòng từ đối tác (kiểm tra ngày 2026-11-15) (tiếng Anh)](https://www.broadnet.ai/inference-privacy)
-   [README của OpenAI Python SDK: retry, timeout và các lớp lỗi (kiểm tra ngày 2026-11-15)](https://github.com/openai/openai-python)
-   [Tài liệu LiteLLM, độ tin cậy của proxy: fallbacks, num\_retries, allowed\_fails, cooldown\_time (kiểm tra ngày 2026-11-15)](https://docs.litellm.ai/docs/proxy/reliability)
-   [Tài liệu DeepInfra, tổng quan chat: base URL tương thích OpenAI (kiểm tra ngày 2026-11-15)](https://docs.deepinfra.com/chat/overview)
-   [Trang model DeepInfra, zai-org/GLM-5.3: context, function calling và hỗ trợ JSON (kiểm tra ngày 2026-11-15)](https://deepinfra.com/zai-org/GLM-5.3)
-   [Trang model Fireworks AI, GLM 5.3: model ID, context và hỗ trợ tool (kiểm tra ngày 2026-11-15)](https://fireworks.ai/models/fireworks/glm-5p3)
