---
title: "LLM router là gì? Aggregator, AI gateway và định tuyến"
description: "LLM router chọn model hoặc nhà cung cấp nào xử lý từng request. Cách aggregator được host, gateway tự host và router chọn model hoạt động, cùng các đánh đổi."
url: https://broadrouter.com/vi/glossary/llm-router/
lang: vi
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Được dịch từ tiếng Anh với sự hỗ trợ của AI. [Đọc bản gốc tiếng Anh](https://broadrouter.com/glossary/llm-router/) (cập nhật ngày 2026-11-16).

# LLM router

Cập nhật 2026-11-16

LLM router là phần mềm hoặc dịch vụ nằm giữa ứng dụng và một hay nhiều API model ngôn ngữ, quyết định với từng request model hoặc nhà cung cấp nào sẽ xử lý, dựa trên các quy tắc như chi phí, độ trễ, tính sẵn sàng hoặc loại tác vụ.

Còn gọi là: LLM router là gì, AI gateway, LLM gateway, định tuyến model, router model, model router, LLM aggregator

Một ứng dụng chỉ nói chuyện với một model thì không cần router. Router xuất hiện khi một nhóm dùng nhiều model hoặc nhà cung cấp và muốn có một chỗ duy nhất để chọn giữa chúng.

## Cách hoạt động

Ứng dụng gửi một request kiểu OpenAI tới router. Router áp dụng quy tắc của nó, chuyển request tới một backend, và trả câu trả lời về theo cùng định dạng. Có ba loại phổ biến:

-   **Aggregator được host.** Ví dụ, OpenRouter cung cấp “hundreds of AI models through a single API endpoint” (Bản dịch: hàng trăm model AI qua một endpoint API duy nhất) tại `https://openrouter.ai/api/v1`, có fallback tự động. Bạn giữ một key và một hóa đơn; aggregator giữ tài khoản với các nhà cung cấp.
-   **Gateway tự host.** LiteLLM Router chạy trong hạ tầng của bạn. Nó chia traffic cho các deployment (mặc định là xáo trộn đơn giản, hoặc dựa trên độ trễ, mức sử dụng hay chi phí), thử lại lỗi rate limit với exponential backoff, và đưa một deployment vào cooldown sau lỗi 429 hoặc tỉ lệ lỗi cao.
-   **Router chọn model.** Các nghiên cứu như RouteLLM huấn luyện một bộ phân loại để gửi prompt dễ tới model rẻ hơn và prompt khó tới model mạnh hơn, nhằm giảm chi phí mà không giảm chất lượng.

Một gateway tự host được cấu hình bằng danh sách backend. Mục LiteLLM sau thêm một nhà cung cấp [tương thích OpenAI](https://broadrouter.com/vi/glossary/openai-compatible-api/):

```yaml
model_list:
  - model_name: flash
    litellm_params:
      model: openai/broadnet/deepseek-v4.1-flash
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY
```

## Vì sao quan trọng

-   **Độ tin cậy.** Router có thể chuyển sang nơi khác khi một nhà cung cấp trả lỗi 429 hoặc 5xx. Xem [rate limit](https://broadrouter.com/vi/glossary/rate-limit/).
-   **Chi phí.** Gửi prompt đơn giản tới model rẻ hơn có thể giảm hóa đơn.
-   **Một lần tích hợp.** Code chỉ làm việc với một [base URL](https://broadrouter.com/vi/glossary/base-url/) và một định dạng key.

Các đánh đổi là có thật. Router thêm một chặng mạng. Router được host là thêm một bên nhìn thấy prompt của bạn, nên việc lưu giữ dữ liệu phụ thuộc vào cả router lẫn nhà cung cấp mà nó chọn. Các model cũng khác nhau về tokenizer, hành vi suy luận và tham số được hỗ trợ, nên một lần fallback âm thầm có thể làm thay đổi câu trả lời.

## Trên BroadNet Inference

BroadNet Inference không phải là router. Đây là một nhà cung cấp duy nhất với một [danh sách model](https://broadrouter.com/vi/models/) ngắn tại `https://inference.broadnet.ai/v1`; Điều khoản của BroadNet nói các model của họ chạy trên phần cứng tại Mỹ do BroadNet sở hữu hoặc thuê, hoặc với các đối tác inference tại Mỹ. Không có định tuyến hay fallback tự động giữa các nhà cung cấp. Bạn chọn model trong mỗi request, ví dụ `broadnet/deepseek-v4.1-flash` hoặc `broadnet/glm-5.3`.

Vì API tương thích OpenAI, nó có thể đứng sau một router như một backend. [Hướng dẫn LiteLLM proxy](https://broadrouter.com/vi/guides/litellm-proxy-custom-provider/) trình bày cách thiết lập. Để so sánh router với nhà cung cấp giá cố định, đọc [lựa chọn thay thế OpenRouter cho agent](https://broadrouter.com/vi/blog/openrouter-alternative-flat-rate/). BroadNet không lưu giữ prompt hay đầu ra; nếu bạn đặt một router được host phía trước, hãy kiểm tra cả chính sách [lưu giữ dữ liệu](https://broadrouter.com/vi/glossary/zero-data-retention/) của nó.

## Lỗi thường gặp

-   Thử lại lỗi 401 hoặc 403 trên nhà cung cấp khác. Đó là lỗi key hoặc chính sách; hãy sửa trước. Xem [lỗi và thử lại](https://broadrouter.com/vi/guides/errors-and-retries/).
-   Coi tên model là có thể thay thế cho nhau. Hãy kiểm thử từng model fallback trên prompt của chính bạn.

## Câu hỏi thường gặp

### LLM router có giống load balancer không?

Load balancer là một phần của router. Router còn có thể chọn model khác cho một tác vụ, chuyển sang nhà cung cấp khác sau lỗi, và chuyển đổi giữa các định dạng API. Load balancer đơn thuần chỉ chia traffic cho các server giống hệt nhau.

### Router có làm tăng độ trễ không?

Thường là một chút, vì request đi thêm một chặng mạng và router có thể kiểm tra nó. Fallback có thể thêm nhiều hơn, vì lần thử thất bại chạy trước lần thử lại. Hãy đo time to first token khi có và không có router.

### BroadNet Inference có phải là LLM router không?

Không. Dù trang này có tên như vậy, BroadNet Inference là một nhà cung cấp duy nhất; Điều khoản của BroadNet nói các model của họ chạy trên phần cứng tại Mỹ do BroadNet sở hữu hoặc thuê, hoặc với các đối tác inference tại Mỹ. Bạn chọn model trong mỗi request. Bạn có thể đặt nó sau một router như một trong các nhà cung cấp.

## Xem thêm

-   [API tương thích OpenAI (OpenAI-compatible API)](https://broadrouter.com/vi/glossary/openai-compatible-api/) (thuật ngữ)
-   [Base URL](https://broadrouter.com/vi/glossary/base-url/) (thuật ngữ)
-   [Giới hạn tần suất (rate limit)](https://broadrouter.com/vi/glossary/rate-limit/) (thuật ngữ)
-   [Không lưu giữ dữ liệu (zero data retention, ZDR)](https://broadrouter.com/vi/glossary/zero-data-retention/) (thuật ngữ)
-   [Nhà cung cấp inference (inference provider)](https://broadrouter.com/vi/glossary/inference-provider/) (thuật ngữ)
-   [Model fallback (chuyển sang model dự phòng)](https://broadrouter.com/vi/glossary/model-fallback/) (thuật ngữ)
-   [Kết nối LiteLLM tới BroadNet Inference (SDK và proxy)](https://broadrouter.com/vi/guides/litellm-proxy-custom-provider/) (hướng dẫn)
-   [Mã lỗi BroadNet Inference và khi nào nên thử lại](https://broadrouter.com/vi/guides/errors-and-retries/) (hướng dẫn)
-   [OpenRouter hay gói giá cố định cho AI agent: bên nào rẻ hơn?](https://broadrouter.com/vi/blog/openrouter-alternative-flat-rate/) (bài viết)
-   [Chuyển sang API tương thích OpenAI: checklist khi chuyển đổi](https://broadrouter.com/vi/blog/openai-compatible-api-migration-checklist/) (bài viết)

Hãy thử với khối lượng công việc thực tế của bạn. Tài khoản mới được tặng US$5 tín dụng ban đầu cho Gemma và chuyển giọng nói thành văn bản. DeepSeek, GLM và Qwen3.8 cần nạp tiền.

[Bắt đầu](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-glossary-llm-router&utm_content=page-cta) ·

**Nguồn**

-   [Hướng dẫn nhanh OpenRouter (một endpoint cho nhiều model)](https://openrouter.ai/docs/quickstart)
-   [Tài liệu LiteLLM Router, cân bằng tải, fallback và cooldown](https://docs.litellm.ai/docs/routing)
-   [RouteLLM: Learning to Route LLMs with Preference Data (arXiv:2406.18665)](https://arxiv.org/abs/2406.18665)
-   [Tài liệu tham chiếu API BroadNet Inference (tiếng Anh)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=vi-glossary-llm-router&utm_content=sources)
-   [Điều khoản dịch vụ BroadNet, §2 về hosting (kiểm tra ngày 2026-11-16) (tiếng Anh)](https://www.broadnet.ai/terms)
