Приложению, которое работает с одной моделью, роутер не нужен. Роутеры появляются, когда команда использует несколько моделей или провайдеров и хочет выбирать между ними в одном месте.
Как это работает
Приложение отправляет роутеру запрос в формате OpenAI. Роутер применяет свои правила, пересылает запрос бэкенду и возвращает ответ в том же формате. Распространены три вида:
- Облачные агрегаторы. OpenRouter, например, предлагает “hundreds of AI models through a single API endpoint” (перевод: «сотни моделей ИИ через один эндпоинт API») по адресу
https://openrouter.ai/api/v1с автоматическим переключением на резерв. У вас один ключ и один счёт, а аккаунты у провайдеров держит агрегатор. - Собственные шлюзы. LiteLLM Router работает в вашей инфраструктуре. Он распределяет трафик между развёртываниями (по умолчанию простым случайным перемешиванием или с учётом задержки, нагрузки либо стоимости), повторяет ошибки лимитов с экспоненциальной задержкой и отправляет развёртывание на паузу (cooldown) после 429 или высокой доли сбоев.
- Роутеры выбора модели. Исследования вроде RouteLLM обучают классификатор, который отправляет простые промпты более дешёвой модели, а сложные — более сильной, чтобы снизить затраты без потери качества.
Собственный шлюз настраивается как список бэкендов. Эта запись LiteLLM добавляет одного OpenAI-совместимого провайдера:
model_list:
- model_name: flash
litellm_params:
model: openai/broadnet/deepseek-v4.1-flash
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY
Почему это важно
- Надёжность. Роутер может переключиться на другого провайдера, когда один возвращает 429 или ошибки 5xx. Смотрите лимиты запросов.
- Стоимость. Отправка простых промптов более дешёвой модели может уменьшить счёт.
- Одна интеграция. Код работает с одним базовым URL и одним форматом ключа.
Компромиссы вполне реальны. Роутер добавляет сетевой переход. Облачный роутер — ещё одна сторона, которая видит ваши промпты, поэтому хранение данных зависит и от роутера, и от выбранного им провайдера. Кроме того, модели различаются токенизаторами, поведением рассуждений и поддержкой параметров, так что незаметное переключение на резерв может изменить ответы.
В BroadNet Inference
BroadNet Inference — не роутер. Это один провайдер с коротким списком моделей по адресу https://inference.broadnet.ai/v1; по Условиям обслуживания BroadNet, её модели работают на собственном или арендованном BroadNet оборудовании в США или у инференс-партнёров в США. Автоматической маршрутизации или переключения между провайдерами нет. Модель вы выбираете в каждом запросе, например broadnet/deepseek-v4.1-flash или broadnet/glm-5.3.
Поскольку API OpenAI-совместим, его можно поставить за роутер как один из бэкендов. Настройку показывает руководство по прокси LiteLLM. Как соотносятся роутер и провайдер с фиксированной ценой, читайте в статье альтернатива OpenRouter для агентов. BroadNet не хранит промпты и ответы; если вы ставите перед ней облачный роутер, проверьте и его политику хранения данных.
Частые ошибки
- Повторять 401 или 403 у другого провайдера. Это ошибки ключа или политики; сначала исправьте их. Смотрите ошибки и повторы.
- Считать названия моделей взаимозаменяемыми. Проверяйте каждую резервную модель на своих промптах.