La plupart du code LLM en circulation parle un seul dialecte : une liste de messages en entrée, un message en sortie. Ce dialecte, c’est l’API Chat Completions.
Comment ça marche
Vous envoyez en POST du JSON à /v1/chat/completions, avec un model et un tableau messages. Chaque message a un role (system, user, assistant ou tool) et un content. La réponse contient un tableau choices ; chaque choice porte un message et un finish_reason qui indique pourquoi la génération s’est arrêtée, ainsi qu’un bloc usage avec le décompte des tokens.
curl https://inference.broadnet.ai/v1/chat/completions \
-H "Authorization: Bearer $BROADNET_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model":"broadnet/gemma-4-26b-a4b",
"messages":[{"role":"system","content":"Answer in one line."},
{"role":"user","content":"What is a token?"}]}'
Dans le SDK Python d’OpenAI, le même appel s’écrit client.chat.completions.create(...). Des champs facultatifs façonnent la sortie : max_tokens, temperature, stream, tools, response_format et d’autres.
L’API est sans état. Le guide de migration d’OpenAI explique qu’avec Chat Completions, « conversation state must be managed manually » (traduction : « l’état de la conversation doit être géré manuellement ») : votre code conserve l’historique et le renvoie à chaque tour. La nouvelle API Responses d’OpenAI utilise des éléments typés et peut conserver l’état côté serveur ; OpenAI la recommande pour les nouveaux projets sur sa propre plateforme, mais précise que Chat Completions « remains supported » (traduction : « reste pris en charge »).
Pourquoi c’est important
- Portabilité. Une API compatible OpenAI désigne en général cet endpoint. Changer de fournisseur revient souvent à changer d’URL de base, de clé et de nom de modèle.
- Coût. Comme tout l’historique est renvoyé, les tokens d’entrée augmentent à chaque tour. Raccourcissez ou résumez les longues conversations.
- Écarts de champs. Les fournisseurs compatibles n’acceptent pas tous chaque champ d’OpenAI. Les champs inconnus peuvent être ignorés ou rejetés : testez ceux dont vous dépendez.
Sur BroadNet Inference
BroadNet sert le chat via POST /v1/chat/completions sur https://inference.broadnet.ai/v1, pour DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B et Gemma 4 VL 26B. Le streaming utilise stream=true et se termine par data: [DONE]. L’appel d’outils et la sortie structurée ne sont documentés que pour GLM 5.3 et Qwen3.8 27B. La référence de l’API de BroadNet ne documente pas d’endpoint Responses : utilisez donc Chat Completions. Commencez par le démarrage rapide avec curl ou le guide du SDK Python.
Erreurs fréquentes
- N’envoyer que le dernier message de l’utilisateur en espérant que le modèle se souvienne de la conversation.
- Reprendre chez un autre fournisseur des champs propres à OpenAI sans consulter sa référence.