Большая часть кода для LLM, который встречается на практике, говорит на одном диалекте: на входе список сообщений, на выходе одно сообщение. Этот диалект — Chat Completions API.
Как это работает
Вы отправляете POST с JSON на /v1/chat/completions, указывая model и массив messages. У каждого сообщения есть role (system, user, assistant или tool) и content. Ответ содержит массив choices; в каждом варианте есть message и finish_reason, который сообщает, почему генерация закончилась, а также блок usage с количеством токенов.
curl https://inference.broadnet.ai/v1/chat/completions \
-H "Authorization: Bearer $BROADNET_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"broadnet/gemma-4-26b-a4b",
"messages":[{"role":"system","content":"Answer in one line."},
{"role":"user","content":"What is a token?"}]}'
В OpenAI Python SDK тот же вызов выглядит как client.chat.completions.create(...). Необязательные поля управляют выводом: max_tokens, temperature, stream, tools, response_format и другие.
API не хранит состояние. В руководстве OpenAI по миграции сказано, что в Chat Completions “conversation state must be managed manually” (перевод: «состояние диалога нужно вести вручную»): ваш код хранит историю и отправляет её заново на каждом ходе. Более новый Responses API от OpenAI использует типизированные элементы и может хранить состояние на сервере. OpenAI рекомендует его для новых проектов на своей платформе, но говорит, что Chat Completions “remains supported” (перевод: «по-прежнему поддерживается»).
Почему это важно
- Переносимость. OpenAI-совместимый API обычно означает именно этот эндпоинт. Смена провайдера часто сводится к новому базовому URL, ключу и имени модели.
- Стоимость. Поскольку вся история отправляется заново, входные токены растут с каждым ходом. Обрезайте или сжимайте длинные чаты.
- Расхождение полей. Не все совместимые провайдеры принимают каждое поле OpenAI. Неизвестные поля могут игнорироваться или отклоняться, поэтому проверяйте те, от которых зависите.
В BroadNet Inference
BroadNet обслуживает чат через POST /v1/chat/completions на https://inference.broadnet.ai/v1 для DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B и Gemma 4 VL 26B. Стриминг включается через stream=true и заканчивается строкой data: [DONE]. Вызов инструментов и структурированный вывод описаны только для GLM 5.3 и Qwen3.8 27B. Справочник API BroadNet не описывает эндпоинт Responses, поэтому используйте Chat Completions. Начните с быстрого старта на curl или руководства по Python SDK.
Частые ошибки
- Отправлять только последнее сообщение пользователя и ждать, что модель вспомнит весь чат.
- Переносить поля, которые есть только у OpenAI, к другому провайдеру, не сверившись с его справочником.