Большинство провайдеров LLM сейчас поддерживают формат OpenAI API. Из-за этого переход выглядит как правка одной строки, и для первого ответа так и есть. Чтобы пустить боевой трафик, пройдите по этому списку. Каждый пункт взят из реального сценария, в котором миграция ломается.
0. Что ваше приложение использует сейчас?
Прежде чем что-то менять, запишите, от чего зависит приложение. Найдите в коде все вызовы SDK и составьте список. Если вы вызываете Whisper API от OpenAI, учтите, что OpenAI указывает дату отключения whisper-1 — 26 февраля 2027 г.; аудио посвящена статья альтернативы Whisper API.
| Функция | Где искать | Что проверить после перехода |
|---|---|---|
| Chat completions | Все chat.completions.create |
Те же промпты, сравнить ответы |
| Стриминг | stream=True |
Чанки приходят, в конце [DONE], usage есть |
| Вызов инструментов | tools= |
Вызовы инструментов парсятся и выполняются |
| Структурированный вывод | response_format= |
JSON проходит валидацию по вашей схеме |
| Изображения | Части с изображениями в сообщениях | Модель их принимает |
| Транскрибация аудио | audio.transcriptions |
Текст и язык верные |
| Эмбеддинги, файлы, batches | Другие эндпоинты | Проверить, есть ли они у провайдера вообще |
Последняя строка важна. «OpenAI-совместимый» обычно означает в первую очередь chat completions. В каталоге BroadNet Inference есть чат-модели на /v1/chat/completions и модели распознавания речи на /v1/audio/transcriptions; если вы используете другие эндпоинты, оставьте их у текущего провайдера или найдите замену.
1. Какие три настройки меняются?
from openai import OpenAI
import os
client = OpenAI(
base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
)
Название настройки базового URL зависит от библиотеки: base_url в Python SDK и в ChatOpenAI из LangChain, baseURL в Node.js SDK. Python SDK также читает переменную окружения OPENAI_BASE_URL, как сказано в его README. Проверьте, не осталось ли там старого значения, иначе запросы могут уходить к старому провайдеру без всякой ошибки.
Храните API-ключи в переменных окружения или в менеджере секретов, но не в коде. Настройка для каждого SDK: Python, Node.js, LangChain. Собрать и проверить первый запрос вручную можно в конструкторе API-запросов. Чтобы внести правки базового URL, ключа и модели в существующий код, вставьте его в помощник миграции с OpenAI на BroadNet — он также подскажет, что проверить.
2. Какие новые ID моделей?
Каждый провайдер называет модели по-своему. В BroadNet Inference:
| Модель | ID |
|---|---|
| DeepSeek V4.1 Flash | broadnet/deepseek-v4.1-flash |
| GLM 5.3 | broadnet/glm-5.3 |
| Qwen3.8 27B | broadnet/qwen3.8-27b |
| Gemma 4 VL 26B | broadnet/gemma-4-26b-a4b |
Выносите ID модели в конфигурацию, а не в код: тогда следующая смена будет деплоем, а не переписыванием. Лимиты и цены каждой модели — на её странице: DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B и Gemma 4 VL 26B.
3. Почему после перехода приходят пустые ответы?
Это самый частый сюрприз. DeepSeek V4.1 Flash, GLM 5.3 и Qwen3.8 27B рассуждают, прежде чем ответить, и токены рассуждений учитываются в max_tokens. Лимит 256, которого хватало модели без рассуждений, может целиком уйти на размышления, и ответ придёт пустым. Оставляйте 1 000 токенов и больше или для простых задач задайте reasoning_effort равным low. Подробное объяснение.
4. Возвращает ли стриминг usage, как раньше?
Стриминг использует Server-Sent Events и заканчивается на data: [DONE]. Расход токенов приходит в последнем чанке, только если вы его запросите:
stream = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash", messages=messages,
stream=True, stream_options={"include_usage": True},
)
Без этого дашборд расходов будет показывать ноль. Если стрим оборвался до [DONE], считайте ответ неполным. Руководство по стримингу.
5. Какие ошибки стоит повторять?
| Статус | Значение | Действие |
|---|---|---|
| 401 | Неверный или отозванный ключ либо исчерпан лимит оплаты по факту | Исправить, не повторять |
| 402 | Баланс или бюджет | Пополнить, не повторять |
| 403 | Отказ по политике модели, маршрута или IP | Устранить несоответствие |
| 413 | Слишком большой запрос | Уменьшить, не повторять |
| 429 | Лимит запросов, параллельности или расходов | Подождать и повторить |
| 5xx | Ошибка на стороне сервера | Повторить с ограниченной задержкой |
Официальный Python SDK уже повторяет часть ошибок: в README сказано, что ошибки соединения, ответы 408, 409, 429 и 5xx по умолчанию повторяются дважды с короткой экспоненциальной задержкой. Задайте max_retries явно, чтобы это поведение было вашим решением, а не значением по умолчанию. Логируйте ID запроса из каждого ответа, чтобы поддержка могла отследить проблему. Все коды.
6. Какие лимиты запросов у нового провайдера?
Узнайте новые лимиты до того, как пойдёт трафик. Ключ BroadNet с оплатой по факту допускает 30 запросов в минуту и 4 одновременных. Безлимитные тарифы выполняют один запрос за раз на сессию. Подберите размер пула воркеров под это, иначе в первый же день увидите 429; размер поможет рассчитать калькулятор лимитов запросов. Как рассчитать мощность для параллельных агентов.
7. Поместятся ли ваши промпты?
Проверьте контекстные окна: 1 048 576 токенов у DeepSeek V4.1 Flash и GLM 5.3, 262 144 у Qwen3.8 27B, 32 768 у Gemma 4 VL 26B. Промпт, который помещался в старую модель, может не поместиться в окно поменьше; проверьте в калькуляторе контекстного окна. Ставьте неизменную часть промпта в начало, чтобы получить цену входа из кэша.
8. Что с ключами и хранением данных?
Привяжите боевые ключи к IP ваших серверов через белый список IP. Спросите нового провайдера, что он хранит; см. чек-лист ZDR.
9. Как безопасно переключиться?
- Отправьте копию реальных запросов за день обоим провайдерам.
- Сравните ответы на выборке, а также задержку, ошибки и стоимость запроса.
- Переведите 10% трафика, понаблюдайте день, затем переведите остальное.
- Неделю держите старого провайдера настроенным как резервный.
Если у вас много сервисов, прокси вроде LiteLLM позволяет переключать провайдера в одном месте, а не в каждом приложении.
Какие ошибки при миграции встречаются чаще всего?
- Нет
/v1в базовом URL. Запросы возвращают 404. Указывайте полный URL. - Старые названия моделей в конфиге. Новый провайдер их не знает.
- В запросах остались поля конкретного провайдера. Поля, которые понимал только старый провайдер, могут отклоняться или игнорироваться. Уберите их из универсальных клиентов.
- Проверка только одного промпта. Пройдите инвентаризацию из шага 0, функцию за функцией.
- Переключение в пятницу. Оставьте время, чтобы понаблюдать за полным днём реального трафика.
Место BroadNet Inference
BroadNet Inference — это готовая замена для приложений, которые используют chat completions и транскрибацию аудио через OpenAI SDK: поменяйте три настройки и пройдите по списку выше. В её каталоге только чат-модели и модели распознавания речи, поэтому если вы зависите от других эндпоинтов, например эмбеддингов или хранения файлов, оставьте их у другого провайдера. Новые аккаунты получают стартовый грант $5. Из чат-моделей на нём работает только Gemma 4 VL 26B (он также покрывает обе модели Transcribe), поэтому для теневого теста на DeepSeek, GLM или Qwen нужно пополнить баланс.
