---
title: "什么是 LLM 路由？聚合平台、AI 网关与模型路由 | BroadRouter"
description: "LLM 路由决定每个请求由哪个模型或服务商处理。托管聚合平台、自托管网关和按任务选模型的路由各自如何工作，以及它们的取舍。"
url: https://broadrouter.com/zh/glossary/llm-router/
lang: zh-Hans
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

本页由英文原文借助 AI 翻译。[阅读英文原文](https://broadrouter.com/glossary/llm-router/)（2026-11-16 更新）。

# 大模型路由（LLM router）

更新于 2026-11-16

LLM 路由是位于应用与一个或多个语言模型 API 之间的软件或服务，它根据成本、延迟、可用性或任务类型等规则，为每个请求决定由哪个模型或服务商来处理。

又称： 大模型路由、模型路由、AI 网关、大模型网关、LLM 网关、大模型聚合平台、API 聚合、LLM router、AI gateway、LLM gateway、model router、LLM aggregator

只对接一个模型的应用不需要路由。当团队使用多个模型或服务商，并希望在一个地方统一选择时，路由才派上用场。

## 原理

应用向路由发送 OpenAI 格式的请求。路由应用它的规则，把请求转发给某个后端，再以相同格式返回结果。常见的有三类：

-   **托管聚合平台。** 例如 OpenRouter 通过 `https://openrouter.ai/api/v1` 提供 “hundreds of AI models through a single API endpoint”（译文：通过单个 API 端点提供数百个 AI 模型），并支持自动回退。你只需一个密钥、一份账单；聚合平台在各服务商那里持有账户。
-   **自托管网关。** LiteLLM Router 运行在你自己的基础设施中。它把流量分摊到多个部署上（默认简单随机打散，也可以基于延迟、用量或成本），用指数退避重试速率限制错误，并在遇到 429 或失败率过高时让某个部署进入冷却。
-   **按任务选模型的路由。** RouteLLM 等研究训练一个分类器，把简单的提示词发给更便宜的模型、把难的发给更强的模型，在不损失质量的前提下降低成本。

自托管网关通过一份后端列表来配置。下面这个 LiteLLM 条目添加了一个 [OpenAI 兼容](https://broadrouter.com/zh/glossary/openai-compatible-api/)的服务商：

```yaml
model_list:
  - model_name: flash
    litellm_params:
      model: openai/broadnet/deepseek-v4.1-flash
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY
```

## 为什么重要

-   **可靠性。** 当某个服务商返回 429 或 5xx 错误时，路由可以切换过去。参见[速率限制](https://broadrouter.com/zh/glossary/rate-limit/)。
-   **成本。** 把简单的提示词发给更便宜的模型可以降低账单。
-   **一次集成。** 代码只对接一个 [base URL](https://broadrouter.com/zh/glossary/base-url/) 和一种密钥格式。

取舍也是实实在在的。路由多了一跳网络。托管路由是又一个能看到你提示词的第三方，所以数据保留情况取决于路由和它选中的服务商两方。不同模型的分词器、思考（reasoning）行为和参数支持也不同，所以悄无声息的回退可能改变回答。

## 在 BroadNet Inference 上

BroadNet Inference 不是路由。它是单一服务商，在 `https://inference.broadnet.ai/v1` 上提供一份简短的[模型列表](https://broadrouter.com/zh/models/)；BroadNet 的服务条款说，它的模型运行在 BroadNet 自有或租用的美国硬件上，或由美国的推理合作伙伴运行。它没有跨服务商的自动路由或回退。你在每个请求中自己选择模型，例如 `broadnet/deepseek-v4.1-flash` 或 `broadnet/glm-5.3`。

由于 API 与 OpenAI 兼容，它可以作为一个后端放在路由后面。[LiteLLM 代理指南](https://broadrouter.com/zh/guides/litellm-proxy-custom-provider/)介绍了配置方法。路由与固定价格服务商的对比，参见[适合智能体的 OpenRouter 替代方案](https://broadrouter.com/zh/blog/openrouter-alternative-flat-rate/)。BroadNet 不保留提示词或输出；如果你在前面加了托管路由，也请检查它的[数据保留](https://broadrouter.com/zh/glossary/zero-data-retention/)政策。

## 常见错误

-   在另一家服务商上重试 401 或 403。这些是密钥或策略错误，应该先修复。参见[错误码与重试](https://broadrouter.com/zh/guides/errors-and-retries/)。
-   把模型名称当成可以互换的。请用你自己的提示词测试每个回退模型。

## 常见问题

### LLM 路由和负载均衡器是一回事吗？

负载均衡器只是路由的一部分。路由还可以为某类任务换一个模型、出错后回退到另一家服务商，以及在不同 API 格式之间转换。普通的负载均衡器只是把流量分摊到相同的服务器上。

### 路由会增加延迟吗？

通常会增加一点，因为请求多了一跳网络，路由还可能检查请求内容。回退可能增加更多延迟，因为重试前要先经历一次失败的尝试。请分别测量有无路由时的首 token 时间。

### BroadNet Inference 是 LLM 路由吗？

不是。尽管本站名为 BroadRouter，BroadNet Inference 是单一服务商；BroadNet 的服务条款说，它的模型运行在 BroadNet 自有或租用的美国硬件上，或由美国的推理合作伙伴运行。你在每个请求中自己选择模型。你可以把它作为其中一个服务商放在路由后面。

## 另请参阅

-   [OpenAI 兼容 API（OpenAI-compatible API）](https://broadrouter.com/zh/glossary/openai-compatible-api/)（术语）
-   [Base URL（base\_url）](https://broadrouter.com/zh/glossary/base-url/)（术语）
-   [速率限制（rate limit）](https://broadrouter.com/zh/glossary/rate-limit/)（术语）
-   [零数据保留（ZDR）](https://broadrouter.com/zh/glossary/zero-data-retention/)（术语）
-   [推理服务商（inference provider）](https://broadrouter.com/zh/glossary/inference-provider/)（术语）
-   [模型回退（model fallback）](https://broadrouter.com/zh/glossary/model-fallback/)（术语）
-   [用 LiteLLM 路由到 BroadNet Inference（SDK 与代理）](https://broadrouter.com/zh/guides/litellm-proxy-custom-provider/)（指南）
-   [BroadNet Inference 错误码，以及什么时候该重试](https://broadrouter.com/zh/guides/errors-and-retries/)（指南）
-   [AI 智能体用 OpenRouter 还是固定价格套餐：哪个更省钱？](https://broadrouter.com/zh/blog/openrouter-alternative-flat-rate/)（文章）
-   [迁移到 OpenAI 兼容 API：切换服务商检查清单](https://broadrouter.com/zh/blog/openai-compatible-api-migration-checklist/)（文章）

用你的真实业务负载试一试。新账户可获得 US$5 初始额度，用于 Gemma和转写。DeepSeek、GLM和Qwen3.8 需要先充值。

[开始使用](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-glossary-llm-router&utm_content=page-cta) ·

**来源**

-   [OpenRouter 快速入门（一个端点调用多个模型）](https://openrouter.ai/docs/quickstart)
-   [LiteLLM Router 文档：负载均衡、回退与冷却](https://docs.litellm.ai/docs/routing)
-   [RouteLLM: Learning to Route LLMs with Preference Data（arXiv:2406.18665）](https://arxiv.org/abs/2406.18665)
-   [BroadNet Inference API 参考（英文）](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=zh-glossary-llm-router&utm_content=sources)
-   [BroadNet 服务条款：第 2 条托管（2026-11-16 查阅）（英文）](https://www.broadnet.ai/terms)
