BroadRouter

Chat Completions API

Обновлено

Chat Completions API — это HTTP-эндпоинт OpenAI, POST /v1/chat/completions, который принимает имя модели и список сообщений с ролями и возвращает следующее сообщение модели. Формат его запроса и ответа стал общим стандартом, который повторяют OpenAI-совместимые провайдеры и SDK.

Также называют: чат-комплишены, эндпоинт chat completions, API чат-завершений, Chat Completions, chat completions endpoint, /v1/chat/completions, chat.completions.create

Большая часть кода для LLM, который встречается на практике, говорит на одном диалекте: на входе список сообщений, на выходе одно сообщение. Этот диалект — Chat Completions API.

Как это работает

Вы отправляете POST с JSON на /v1/chat/completions, указывая model и массив messages. У каждого сообщения есть role (system, user, assistant или tool) и content. Ответ содержит массив choices; в каждом варианте есть message и finish_reason, который сообщает, почему генерация закончилась, а также блок usage с количеством токенов.

curl https://inference.broadnet.ai/v1/chat/completions \
  -H "Authorization: Bearer $BROADNET_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"broadnet/gemma-4-26b-a4b",
       "messages":[{"role":"system","content":"Answer in one line."},
                   {"role":"user","content":"What is a token?"}]}'

В OpenAI Python SDK тот же вызов выглядит как client.chat.completions.create(...). Необязательные поля управляют выводом: max_tokens, temperature, stream, tools, response_format и другие.

API не хранит состояние. В руководстве OpenAI по миграции сказано, что в Chat Completions “conversation state must be managed manually” (перевод: «состояние диалога нужно вести вручную»): ваш код хранит историю и отправляет её заново на каждом ходе. Более новый Responses API от OpenAI использует типизированные элементы и может хранить состояние на сервере. OpenAI рекомендует его для новых проектов на своей платформе, но говорит, что Chat Completions “remains supported” (перевод: «по-прежнему поддерживается»).

Почему это важно

  • Переносимость. OpenAI-совместимый API обычно означает именно этот эндпоинт. Смена провайдера часто сводится к новому базовому URL, ключу и имени модели.
  • Стоимость. Поскольку вся история отправляется заново, входные токены растут с каждым ходом. Обрезайте или сжимайте длинные чаты.
  • Расхождение полей. Не все совместимые провайдеры принимают каждое поле OpenAI. Неизвестные поля могут игнорироваться или отклоняться, поэтому проверяйте те, от которых зависите.

В BroadNet Inference

BroadNet обслуживает чат через POST /v1/chat/completions на https://inference.broadnet.ai/v1 для DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B и Gemma 4 VL 26B. Стриминг включается через stream=true и заканчивается строкой data: [DONE]. Вызов инструментов и структурированный вывод описаны только для GLM 5.3 и Qwen3.8 27B. Справочник API BroadNet не описывает эндпоинт Responses, поэтому используйте Chat Completions. Начните с быстрого старта на curl или руководства по Python SDK.

Частые ошибки

  • Отправлять только последнее сообщение пользователя и ждать, что модель вспомнит весь чат.
  • Переносить поля, которые есть только у OpenAI, к другому провайдеру, не сверившись с его справочником.

Вопросы и ответы

Chat Completions API устарел?

Нет. В руководстве OpenAI по миграции сказано: "Chat Completions remains supported" (перевод: «Chat Completions по-прежнему поддерживается»), хотя для новых проектов на платформе OpenAI рекомендуется более новый Responses API.

Помнит ли Chat Completions API предыдущие сообщения?

Нет. Он не хранит состояние. В руководстве OpenAI сказано, что состояние диалога "must be managed manually" (перевод: «нужно вести вручную»), поэтому вы отправляете всю историю сообщений в каждом запросе.

Какой эндпоинт BroadNet Inference использует для чата?

POST /v1/chat/completions по базовому URL https://inference.broadnet.ai/v1. Эндпоинт Responses API в документации BroadNet не описан.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity