BroadRouter

Utiliser LangChain avec BroadNet Inference

Mis à jour

Installez langchain-openai et créez ChatOpenAI avec base_url défini sur https://inference.broadnet.ai/v1, votre clé BroadNet comme api_key et un ID de modèle BroadNet comme broadnet/glm-5.3. Les chaînes invoke, stream et d’appel d’outils passent alors par les chat completions. Évitez les fonctions propres à la Responses API et laissez de la place au raisonnement dans max_tokens.

ChatOpenAI de LangChain accepte n’importe quel endpoint via base_url. Cela fonctionne avec BroadNet Inference, qui utilise le format standard des chat completions. Si vous appelez plutôt l’API directement, consultez le guide du SDK Python.

Installer

Les versions actuelles de langchain-openai (1.x) nécessitent Python 3.11 ou plus récent.

pip install -U langchain-openai
export BROADNET_API_KEY='paste-the-key-once'

Se connecter

import os
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="broadnet/glm-5.3",
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=2000,  # reasoning counts toward this limit
)

print(llm.invoke("Summarise the CAP theorem in two sentences.").content)

openai_api_base est un alias de base_url. Sans l’un ni l’autre, LangChain lit OPENAI_API_BASE, puis le client openai sous-jacent lit OPENAI_BASE_URL.

À savoir

  • Le texte de raisonnement n’est pas conservé. D’après la documentation de LangChain, ChatOpenAI suit la spécification officielle d’OpenAI et ne conserve pas les champs non standard comme reasoning_content. Vous obtenez la réponse finale, ce dont une chaîne a généralement besoin.
  • Laissez de la place au raisonnement. GLM 5.3, DeepSeek V4.1 Flash et Qwen3.8 27B raisonnent d’abord. Un max_tokens trop petit peut renvoyer une réponse vide. Pourquoi les réponses reviennent vides.
  • Usage en streaming. Quand vous configurez l’endpoint avec OPENAI_BASE_URL, LangChain désactive stream_usage par défaut. Passez stream_usage=True si vous voulez le nombre de tokens pendant le streaming. D’après la documentation de BroadNet, l’usage arrive dans le dernier chunk quand il est demandé.
  • Restez sur les chat completions. BroadNet sert /v1/chat/completions, pas la Responses API. D’après la documentation de LangChain, ChatOpenAI bascule vers la Responses API dès que vous utilisez les outils intégrés d’OpenAI (recherche web, recherche de fichiers, code interpreter, etc.), l’état de conversation ou le paramètre reasoning. Laissez-les de côté et ne définissez pas use_responses_api=True.
  • Nom de la limite de tokens. D’après la documentation de LangChain, max_tokens est converti en interne en max_completion_tokens. La documentation de BroadNet décrit max_tokens. Si une limite semble ignorée, vérifiez la requête que votre application envoie réellement.

Quel modèle pour quelle chaîne ?

Chaîne Modèle
Appel d’outils et sortie structurée broadnet/glm-5.3
Longs documents et agents, forfait illimité broadnet/deepseek-v4.1-flash
Texte arabe ou images broadnet/qwen3.8-27b

Voir les prix de tous les modèles.

Dépannage

  • 401. La clé est erronée, expirée ou son quota de paiement à l’usage est épuisé. Si vous n’avez passé aucun api_key, LangChain a utilisé OPENAI_API_KEY, qui contient peut-être une clé OpenAI.
  • 404 ou « not found ». Vérifiez que base_url se termine par /v1 et que rien n’envoie l’appel vers la Responses API (voir plus haut). Vérifiez ensuite que l’ID du modèle correspond exactement à celui de BroadNet, avec le préfixe broadnet/. Les modèles payants nécessitent une recharge ; le crédit de $5 ne couvre que broadnet/gemma-4-26b-a4b et les deux modèles Transcribe.
  • content vide. Le raisonnement a épuisé le budget. Augmentez max_tokens. Pourquoi les réponses reviennent vides.
  • Les appels d’outils n’ont jamais lieu. Utilisez broadnet/glm-5.3 ou broadnet/qwen3.8-27b. La documentation de BroadNet n’indique les outils que pour ces deux modèles.
  • 429 dans des chaînes en batch ou en parallèle. Une clé à l’usage autorise 30 requêtes par minute et 4 simultanées. Définissez max_concurrency dans la configuration du runnable pour batch(). Voir codes d’erreur et nouvelles tentatives.

Questions fréquentes

Faut-il utiliser base_url ou openai_api_base dans ChatOpenAI ?

Les deux fonctionnent. openai_api_base est un alias de base_url. Si aucun des deux n’est passé, LangChain consulte OPENAI_API_BASE, puis le client openai lit OPENAI_BASE_URL.

Puis-je définir l’endpoint BroadNet uniquement avec des variables d’environnement ?

Oui. Définissez OPENAI_BASE_URL sur https://inference.broadnet.ai/v1 et OPENAI_API_KEY sur votre clé BroadNet, puis créez ChatOpenAI avec le seul ID du modèle. Passez stream_usage=True si vous voulez le nombre de tokens pendant le streaming.

Pourquoi LangChain supprime-t-il reasoning_content des réponses de BroadNet ?

D’après la documentation de LangChain, ChatOpenAI suit la spécification officielle d’OpenAI et n’extrait pas les champs non standard comme reasoning_content. Vous recevez quand même la réponse finale dans content.

ChatOpenAI prend-il en charge l’appel d’outils avec BroadNet ?

Oui, via bind_tools, sur les modèles pour lesquels BroadNet indique les outils. Utilisez broadnet/glm-5.3 ou broadnet/qwen3.8-27b pour l’appel d’outils et with_structured_output.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity