BroadRouter
Начать

Переход на OpenAI-совместимый API: чек-лист миграции

Команда BroadNet Inference · 5 мин чтения · Опубликовано · Обновлено

Чтобы перейти на OpenAI-совместимый API, измените три настройки (base_url, api_key и model), а затем проверьте, что отличается: ID моделей, то, как токены рассуждений учитываются в max_tokens, как стриминг возвращает usage, какие ошибки повторять, лимиты запросов и безопасность ключей. Для BroadNet Inference базовый URL — https://inference.broadnet.ai/v1.

Большинство провайдеров LLM сейчас поддерживают формат OpenAI API. Из-за этого переход выглядит как правка одной строки, и для первого ответа так и есть. Чтобы пустить боевой трафик, пройдите по этому списку. Каждый пункт взят из реального сценария, в котором миграция ломается.

0. Что ваше приложение использует сейчас?

Прежде чем что-то менять, запишите, от чего зависит приложение. Найдите в коде все вызовы SDK и составьте список. Если вы вызываете Whisper API от OpenAI, учтите, что OpenAI указывает дату отключения whisper-1 — 26 февраля 2027 г.; аудио посвящена статья альтернативы Whisper API.

Функция Где искать Что проверить после перехода
Chat completions Все chat.completions.create Те же промпты, сравнить ответы
Стриминг stream=True Чанки приходят, в конце [DONE], usage есть
Вызов инструментов tools= Вызовы инструментов парсятся и выполняются
Структурированный вывод response_format= JSON проходит валидацию по вашей схеме
Изображения Части с изображениями в сообщениях Модель их принимает
Транскрибация аудио audio.transcriptions Текст и язык верные
Эмбеддинги, файлы, batches Другие эндпоинты Проверить, есть ли они у провайдера вообще

Последняя строка важна. «OpenAI-совместимый» обычно означает в первую очередь chat completions. В каталоге BroadNet Inference есть чат-модели на /v1/chat/completions и модели распознавания речи на /v1/audio/transcriptions; если вы используете другие эндпоинты, оставьте их у текущего провайдера или найдите замену.

1. Какие три настройки меняются?

from openai import OpenAI
import os

client = OpenAI(
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
)

Название настройки базового URL зависит от библиотеки: base_url в Python SDK и в ChatOpenAI из LangChain, baseURL в Node.js SDK. Python SDK также читает переменную окружения OPENAI_BASE_URL, как сказано в его README. Проверьте, не осталось ли там старого значения, иначе запросы могут уходить к старому провайдеру без всякой ошибки.

Храните API-ключи в переменных окружения или в менеджере секретов, но не в коде. Настройка для каждого SDK: Python, Node.js, LangChain. Собрать и проверить первый запрос вручную можно в конструкторе API-запросов. Чтобы внести правки базового URL, ключа и модели в существующий код, вставьте его в помощник миграции с OpenAI на BroadNet — он также подскажет, что проверить.

2. Какие новые ID моделей?

Каждый провайдер называет модели по-своему. В BroadNet Inference:

Модель ID
DeepSeek V4.1 Flash broadnet/deepseek-v4.1-flash
GLM 5.3 broadnet/glm-5.3
Qwen3.8 27B broadnet/qwen3.8-27b
Gemma 4 VL 26B broadnet/gemma-4-26b-a4b

Выносите ID модели в конфигурацию, а не в код: тогда следующая смена будет деплоем, а не переписыванием. Лимиты и цены каждой модели — на её странице: DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B и Gemma 4 VL 26B.

3. Почему после перехода приходят пустые ответы?

Это самый частый сюрприз. DeepSeek V4.1 Flash, GLM 5.3 и Qwen3.8 27B рассуждают, прежде чем ответить, и токены рассуждений учитываются в max_tokens. Лимит 256, которого хватало модели без рассуждений, может целиком уйти на размышления, и ответ придёт пустым. Оставляйте 1 000 токенов и больше или для простых задач задайте reasoning_effort равным low. Подробное объяснение.

4. Возвращает ли стриминг usage, как раньше?

Стриминг использует Server-Sent Events и заканчивается на data: [DONE]. Расход токенов приходит в последнем чанке, только если вы его запросите:

stream = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash", messages=messages,
    stream=True, stream_options={"include_usage": True},
)

Без этого дашборд расходов будет показывать ноль. Если стрим оборвался до [DONE], считайте ответ неполным. Руководство по стримингу.

5. Какие ошибки стоит повторять?

Статус Значение Действие
401 Неверный или отозванный ключ либо исчерпан лимит оплаты по факту Исправить, не повторять
402 Баланс или бюджет Пополнить, не повторять
403 Отказ по политике модели, маршрута или IP Устранить несоответствие
413 Слишком большой запрос Уменьшить, не повторять
429 Лимит запросов, параллельности или расходов Подождать и повторить
5xx Ошибка на стороне сервера Повторить с ограниченной задержкой

Официальный Python SDK уже повторяет часть ошибок: в README сказано, что ошибки соединения, ответы 408, 409, 429 и 5xx по умолчанию повторяются дважды с короткой экспоненциальной задержкой. Задайте max_retries явно, чтобы это поведение было вашим решением, а не значением по умолчанию. Логируйте ID запроса из каждого ответа, чтобы поддержка могла отследить проблему. Все коды.

6. Какие лимиты запросов у нового провайдера?

Узнайте новые лимиты до того, как пойдёт трафик. Ключ BroadNet с оплатой по факту допускает 30 запросов в минуту и 4 одновременных. Безлимитные тарифы выполняют один запрос за раз на сессию. Подберите размер пула воркеров под это, иначе в первый же день увидите 429; размер поможет рассчитать калькулятор лимитов запросов. Как рассчитать мощность для параллельных агентов.

7. Поместятся ли ваши промпты?

Проверьте контекстные окна: 1 048 576 токенов у DeepSeek V4.1 Flash и GLM 5.3, 262 144 у Qwen3.8 27B, 32 768 у Gemma 4 VL 26B. Промпт, который помещался в старую модель, может не поместиться в окно поменьше; проверьте в калькуляторе контекстного окна. Ставьте неизменную часть промпта в начало, чтобы получить цену входа из кэша.

8. Что с ключами и хранением данных?

Привяжите боевые ключи к IP ваших серверов через белый список IP. Спросите нового провайдера, что он хранит; см. чек-лист ZDR.

9. Как безопасно переключиться?

  1. Отправьте копию реальных запросов за день обоим провайдерам.
  2. Сравните ответы на выборке, а также задержку, ошибки и стоимость запроса.
  3. Переведите 10% трафика, понаблюдайте день, затем переведите остальное.
  4. Неделю держите старого провайдера настроенным как резервный.

Если у вас много сервисов, прокси вроде LiteLLM позволяет переключать провайдера в одном месте, а не в каждом приложении.

Какие ошибки при миграции встречаются чаще всего?

  • Нет /v1 в базовом URL. Запросы возвращают 404. Указывайте полный URL.
  • Старые названия моделей в конфиге. Новый провайдер их не знает.
  • В запросах остались поля конкретного провайдера. Поля, которые понимал только старый провайдер, могут отклоняться или игнорироваться. Уберите их из универсальных клиентов.
  • Проверка только одного промпта. Пройдите инвентаризацию из шага 0, функцию за функцией.
  • Переключение в пятницу. Оставьте время, чтобы понаблюдать за полным днём реального трафика.

Место BroadNet Inference

BroadNet Inference — это готовая замена для приложений, которые используют chat completions и транскрибацию аудио через OpenAI SDK: поменяйте три настройки и пройдите по списку выше. В её каталоге только чат-модели и модели распознавания речи, поэтому если вы зависите от других эндпоинтов, например эмбеддингов или хранения файлов, оставьте их у другого провайдера. Новые аккаунты получают стартовый грант $5. Из чат-моделей на нём работает только Gemma 4 VL 26B (он также покрывает обе модели Transcribe), поэтому для теневого теста на DeepSeek, GLM или Qwen нужно пополнить баланс.

Вопросы и ответы

Нужен ли другой SDK?

Нет. Официальные OpenAI SDK для Python и Node.js принимают собственный базовый URL. Фреймворки поверх них, например ChatOpenAI из LangChain, тоже.

Как поменять базовый URL в OpenAI SDK?

Передайте клиенту base_url в Python или baseURL в Node.js либо задайте переменную окружения OPENAI_BASE_URL. Для BroadNet Inference значение — https://inference.broadnet.ai/v1, а ключ указывается в api_key.

Почему после перехода приходит пустой ответ?

Модели с рассуждениями, такие как DeepSeek V4.1 Flash, GLM 5.3 и Qwen3.8 27B, сначала размышляют, а потом отвечают, и размышления учитываются в max_tokens. Поднимите max_tokens до 1 000 и выше или задайте reasoning_effort = low.

Почему после перехода появляется ошибка 404 или model not found?

Обычно в ID модели осталось название от старого провайдера или в базовом URL не хватает пути /v1. Укажите точный ID модели нового провайдера и полный базовый URL.

Какие ошибки стоит повторять?

Повторяйте 429 и 5xx с ограниченной экспоненциальной задержкой. Ошибки 401, 402 и 413 сначала исправьте, потом повторяйте. В руководстве по ошибкам на этом сайте перечислены все коды.

OpenAI-совместимый — значит идентичный?

Нет. Формат запросов и ответов совпадает, но ID моделей, поддерживаемые параметры, лимиты, поля usage и детали ошибок могут отличаться. Проверьте каждую функцию, которую использует ваше приложение.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity