У каждого LLM API бывают плохие минуты: 503, тайм-аут, всплеск 429. Резервирование нужно, чтобы эти минуты не превращались в простой вашего приложения. В этой статье показано, как в собственном коде переключаться между OpenAI-совместимыми провайдерами: какие ошибки должны запускать переключение, как circuit breaker сохраняет скорость и что должно совпадать у провайдеров, чтобы пользователи не заметили смены.
Сначала важное: BroadNet Inference не маршрутизирует запросы и не переключает провайдеров за вас, и BroadRouter тоже. BroadRouter — собственный сайт BroadNet, а не роутер. Резервирование вы строите сами: в клиенте, как показано ниже, или в шлюзе вроде LiteLLM.
Зачем вообще нужен резервный провайдер?
Потому что большинство API с самостоятельным подключением ничего не обещают насчёт аптайма. В условиях BroadNet в разделе 7.4 это сказано прямо: “self-serve has no availability commitment” (перевод: «у самостоятельного подключения нет обязательств по доступности»), а уровни обслуживания существуют только в отдельном письменном соглашении (проверено 15 ноября 2026 г.). Что обещают другие провайдеры, разобрано в сравнении SLA LLM API. Если ваша функция должна работать всегда, второй провайдер — практичная страховка, что бы ни говорилось в SLA.
Вторая причина — лимиты запросов. Ключ BroadNet с оплатой по факту допускает 30 запросов в минуту и 4 одновременно. Всплеск трафика выше этого возвращает 429, и второй провайдер может принять избыток, пока вы наращиваете мощность.
При каких ошибках переключаться на резерв?
Разделите ошибки на две группы. Одни — вина провайдера, и у другого запрос может пройти. Другие — ваша вина, и запрос упадёт везде.
| Ошибка | Переключаться? | Почему |
|---|---|---|
| Ошибка соединения, тайм-аут | Да, после повторов | Провайдер или сеть недоступны |
| 500, 502, 503, 504 | Да, после повторов | Документация BroadNet советует сначала “retry with bounded exponential backoff” (перевод: «повторить с ограниченной экспоненциальной задержкой») |
| 429, лимит запросов или параллельности | Да, после задержки | Не хватает мощности у этого провайдера, запрос в порядке |
| 429, лимит расходов | Нет | Переключение обходит бюджет, который вы установили намеренно |
| 400, 422 | Нет | Запрос неверен и упадёт и у следующего провайдера |
| 401, 402 | Нет | Ключ, квота или баланс. В BroadNet 401 означает также исчерпанную квоту оплаты по факту, так что переключение скроет проблему с оплатой |
| 403, 413 | Нет | Политика или размер; исправьте запрос |
Справочник API BroadNet говорит, что 429 означает “a rate, concurrency, token-rate or spending limit was reached” (перевод: «достигнут лимит запросов, параллельности, скорости токенов или расходов»), и советует “use response details and bounded backoff” (перевод: «использовать детали ответа и ограниченную задержку»). Прочитайте эти детали до переключения, чтобы 429 из-за лимита расходов останавливал запрос, а не переносил его. Все коды состояния перечислены в руководстве по кодам ошибок.
Повторяйте, прежде чем переключаться. OpenAI Python SDK уже повторяет ошибки соединения, 408, 409, 429 и 5xx “2 times by default, with a short exponential backoff” (перевод: «по умолчанию 2 раза, с короткой экспоненциальной задержкой»), а его тайм-аут по умолчанию — 10 минут (README, проверено 15 ноября 2026 г.). Десять минут — слишком долго перед переключением. Задавайте timeout для каждого клиента. Задержка с jitter разобрана в статье об обработке 429.
Как выглядит переключение на Python?
Два клиента, упорядоченный список и небольшой circuit breaker. Основной провайдер — GLM 5.3 в BroadNet. Резервный — та же модель с открытыми весами в DeepInfra, чья документация даёт базовый URL https://api.deepinfra.com/v1/openai (проверено 15 ноября 2026 г.).
import os
import time
from openai import (OpenAI, APIConnectionError, APITimeoutError,
RateLimitError, InternalServerError)
PROVIDERS = [
{"name": "broadnet", "model": "broadnet/glm-5.3",
"client": OpenAI(base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
max_retries=2, timeout=60)},
{"name": "deepinfra", "model": "zai-org/GLM-5.3",
"client": OpenAI(base_url="https://api.deepinfra.com/v1/openai",
api_key=os.environ["DEEPINFRA_API_KEY"],
max_retries=2, timeout=60)},
]
# Provider-side failures only. 400, 401, 402, 403 and 422 raise straight through.
FAILOVER_ON = (APIConnectionError, APITimeoutError, RateLimitError, InternalServerError)
TRIP_AFTER = 3 # consecutive failures before the breaker opens
COOLDOWN = 30 # seconds to skip a provider once its breaker is open
state = {p["name"]: {"fails": 0, "open_until": 0.0} for p in PROVIDERS}
def chat(messages, **kwargs):
last_error = None
for p in PROVIDERS:
s = state[p["name"]]
if time.monotonic() < s["open_until"]:
continue # breaker open: don't wait on a provider that is down
try:
reply = p["client"].chat.completions.create(
model=p["model"], messages=messages, **kwargs)
s["fails"] = 0
return p["name"], reply
except FAILOVER_ON as err:
last_error = err
s["fails"] += 1
if s["fails"] >= TRIP_AFTER:
s["open_until"] = time.monotonic() + COOLDOWN
raise RuntimeError("every provider failed") from last_error
served_by, reply = chat([{"role": "user", "content": "Reply with one short sentence."}],
max_tokens=1000)
print(served_by, reply.model, reply.choices[0].message.content)
Важны четыре детали:
- Классы исключений. SDK выбрасывает
RateLimitErrorна 429,InternalServerErrorна 500 и выше иAPIConnectionError(с подклассомAPITimeoutError), когда не может подключиться. Всё остальное намеренно не перехватывается. Чтобы исключить 429 из-за лимита расходов, посмотритеerr.response, прежде чем продолжать. - Circuit breaker. Без него каждый запрос ждёт полный тайм-аут на мёртвом основном провайдере, прежде чем двинуться дальше. После трёх неудач подряд основной провайдер пропускается на 30 секунд. Затем следующий запрос снова его проверяет.
- Логируйте, кто ответил. Возвращайте имя провайдера и сохраняйте
reply.model. Когда качество меняется, нужно знать, какой провайдер ответил. - Бюджет на рассуждения. GLM 5.3 рассуждает перед ответом. В документации BroadNet сказано, что рассуждения входят в
max_tokens, поэтому оставляйте 1000 или больше у каждого провайдера.
Как сопоставить ID моделей у разных провайдеров?
У одной и той же модели с открытыми весами у каждого хоста свой ID, а заявленные возможности могут различаться. GLM 5.3 на 15 ноября 2026 г.:
| BroadNet Inference | DeepInfra | Fireworks AI | |
|---|---|---|---|
| ID модели | broadnet/glm-5.3 |
zai-org/GLM-5.3 |
accounts/fireworks/models/glm-5p3 |
| Контекст | 1 048 576 токенов | 1 048 576 токенов | “1040k” токенов |
| Инструменты | Задокументированы | Указано “Function” | Поддерживаются |
| Структурированный вывод | Задокументирован | Указано “JSON” | Не проверяли |
Отсюда два правила. Первое: храните сопоставление в конфигурации, а не разбрасывайте по коду. Второе: подбирайте резерв под то, что используют ваши запросы. В BroadNet инструменты и структурированный вывод задокументированы только для GLM 5.3 и Qwen3.8 27B. Агент с вызовом инструментов может переключиться с GLM 5.3 на GLM 5.3 у другого провайдера. Безопасно переключиться на модель, для которой инструменты не задокументированы, он не может. Если у резерва контекстное окно меньше, обрезайте промпт или пропускайте этот резерв для длинных запросов. Базовые URL 14 провайдеров — в справочнике базовых URL.
Как сохранить сопоставимость ответов после переключения?
Одни и те же веса у двух хостов всё равно могут отвечать по-разному: хосты могут использовать разную точность, разные шаблоны чата или параметры по умолчанию. Другая модель ответит по-другому наверняка.
- Прогоняйте свой набор для оценки на каждой записи списка, а не только на основной.
- Фиксируйте
temperature,max_tokensи системный промпт в каждом запросе, чтобы умолчания провайдера не меняли результат. - Валидируйте структурированный вывод одинаково на каждом пути. Цикл «починить и повторить» разобран в статье как исправить невалидный JSON.
- Предпочитайте ту же модель у другого хоста другой модели у того же хоста. Смену стиля пользователи замечают сильнее, чем несколько секунд задержки.
А как быть со стримингом и вызовами инструментов?
Стрим может оборваться на середине. В документации BroadNet сказано, что стрим, закончившийся до data: [DONE], нужно считать неполным: запишите X-Request-ID и решите, может ли ваше приложение безопасно отправить новый запрос.
- До первого токена: переключайтесь свободно. Пользователь ещё ничего не видел.
- После того как токены показаны: перезапустите запрос у резервного провайдера и замените частичный ответ или покажите ошибку с кнопкой повтора. Склеенные половинки ответов от двух провайдеров читаются плохо.
- Вызовы инструментов с побочными эффектами: никогда не перезапускайте шаг, который отправляет письмо, списывает деньги с карты или пишет в базу, только потому что упал вызов модели. Дайте каждому действию ключ идемпотентности. Контрольные точки разобраны в статье долгоживущие агенты.
Как обнаружить стрим, закончившийся раньше времени, объясняет статья стриминг через SSE.
Во что обходится переключение?
- Дублирующая работа. Тайм-аут на вашей стороне не доказывает, что провайдер остановился. При оплате за токены каждый повтор — это новый инференс, так что за часть запросов вы заплатите дважды.
- Другие цены. Резервный провайдер выставляет счёт по своим ставкам. DeepInfra 15 ноября 2026 г. указывала промо-цену на GLM-5.3, поэтому перепроверьте её, прежде чем закладывать в бюджет. BroadNet берёт $0.78 за вход, $0.173 за вход из кэша и $3.46 за выход за 1 млн токенов.
- Холодный кэш. Вход из кэша не переносится между провайдерами. Первые запросы у резервного провайдера оплачивают полную цену входа за префикс, который у основного был в кэше. См. кэшированные входные токены.
- Хеджирование. Если отправлять каждый запрос сразу двум провайдерам и брать первый ответ, хвостовая задержка снижается, но счёт примерно удваивается. Используйте это только там, где задержка того стоит.
Соответствует ли резерв тем же условиям обработки данных?
Резервный провайдер — ещё один обработчик, который получает те же промпты. Если вы что-то обещали клиентам насчёт их данных, обещание должно выполняться на каждой записи списка.
В заявлении о приватности BroadNet сказано: “We do not retain prompts, audio, images, answers or transcripts” (перевод: «Мы не храним промпты, аудио, изображения, ответы или транскрипты»). Контент инференса не хранится; необходимые метаданные аккаунта, оплаты и безопасности сохраняются так, как описано в этом заявлении. Там же сказано, что данные инференса не используются для обучения, дообучения или оценки моделей. В заявлении также сказано, что размещённые модели “run on BroadNet-owned or leased hardware in the United States, with partner capacity as backup” (перевод: «работают на собственном или арендованном оборудовании BroadNet в США, с мощностями партнёров в резерве»); DeepSeek V4.1 Flash размещена у партнёра. Для данных с требованиями к месту хранения условия (раздел 7.3a) предписывают согласовать места обработки до отправки. Проверьте те же пункты у резервного провайдера: хранение, использование для обучения, расположение и субподрядчиков. Если он не дотягивает, не пускайте чувствительные запросы по резервному пути и при сбое просто возвращайте ошибку. Вопросы собраны в чек-листе нулевого хранения данных.
Может, лучше взять шлюз вроде LiteLLM?
Шлюз стоит взять, если одни и те же правила резервирования нужны нескольким сервисам. Прокси LiteLLM принимает список fallbacks, который перебирается по порядку. num_retries повторяет запрос к группе моделей, прежде чем переключиться. allowed_fails и cooldown_time выводят сбоящий деплоймент из работы на время, что работает как circuit breaker. Отдельные context_window_fallbacks и content_policy_fallbacks обрабатывают ошибки этих типов (документация LiteLLM, проверено 15 ноября 2026 г.):
model_list:
- model_name: glm
litellm_params:
model: openai/broadnet/glm-5.3
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY
- model_name: glm-backup
litellm_params:
model: openai/zai-org/GLM-5.3
api_base: https://api.deepinfra.com/v1/openai
api_key: os.environ/DEEPINFRA_API_KEY
router_settings:
fallbacks: [{"glm": ["glm-backup"]}]
allowed_fails: 3
cooldown_time: 30
litellm_settings:
num_retries: 2
request_timeout: 60
Руководство по прокси LiteLLM показывает запись для BroadNet полностью. Обе записи используют универсальный префикс LiteLLM openai/ с api_base — тот же приём, что и в руководстве. Шлюз добавляет лишний переход по сети и ещё один компонент, который нужно поддерживать. Для одного приложения хватит примерно 40 строк в клиенте, как выше.
Как проверить переключение заранее?
- В тестовой конфигурации направьте основного провайдера на недоступный хост и убедитесь, что запросы попадают к резервному.
- Отправьте заведомо невалидный запрос и убедитесь, что переключения не происходит.
- Используйте неверный ключ основного провайдера и убедитесь, что 401 всплывает как ошибка, а не как тихое переключение.
- Следите за circuit breaker: после трёх неудач основной провайдер должен пропускаться без ожидания тайм-аута.
- Настройте алерт, когда резервный провайдер обслуживает больше небольшой доли трафика. Тихое переключение может днями скрывать сломанного основного провайдера.
Router в LiteLLM принимает mock_testing_fallbacks=True в прямых тестах, чтобы принудительно вызвать переключение.
Какое место здесь занимает BroadNet Inference
BroadRouter — сайт BroadNet, а BroadNet Inference может быть любой записью в вашем списке. В роли основного провайдера он даёт GLM 5.3 и Qwen3.8 27B с задокументированными инструментами и структурированным выводом, плюс Gemma 4 VL 26B и DeepSeek V4.1 Flash, на одном базовом URL без хранения контента. В роли резервного это ещё один OpenAI-совместимый эндпоинт в списке. В любом случае логика переключения — ваша: BroadNet не маршрутизирует между провайдерами, а у самостоятельного подключения нет SLA. Если вам нужны уровни обслуживания по договору, они бывают только в отдельном письменном соглашении. Сравните модели или создайте аккаунт и проверьте свою цепочку со стартовым грантом $5 на Gemma 4 VL 26B. Для GLM 5.3 и Qwen3.8 27B нужно пополнить баланс.
