BroadRouter

Pydantic AI avec BroadNet Inference (OpenAICompatibleProvider)

Mis à jour

Installez pydantic-ai-slim[openai], puis créez un OpenAIChatModel avec un ID de modèle BroadNet comme broadnet/glm-5.3 et un OpenAICompatibleProvider dont l’URL de base est https://inference.broadnet.ai/v1 et la clé d’API votre clé BroadNet. Passez le modèle à Agent. Utilisez OpenAIChatModel, pas le modèle Responses, car BroadNet sert les chat completions. Selon la documentation de Pydantic AI, OpenAIProvider avec base_url est prévu pour OpenAI.

Pydantic AI est un framework d’agents Python créé par l’équipe de Pydantic. Pour un service sans fournisseur intégré, sa documentation recommande OpenAICompatibleProvider avec la base_url du service. BroadNet Inference sert des chat completions standard à l’adresse https://inference.broadnet.ai/v1 : c’est donc la voie à suivre. BroadRouter est le site de BroadNet ; ce guide suit la documentation de Pydantic AI à la version 2.68.

Installation

pip install "pydantic-ai-slim[openai]"
export BROADNET_API_KEY='your-broadnet-key'

Connexion

import os
from pydantic_ai import Agent
from pydantic_ai.models.openai import OpenAIChatModel
from pydantic_ai.providers.openai_compatible import OpenAICompatibleProvider

model = OpenAIChatModel(
    'broadnet/glm-5.3',
    provider=OpenAICompatibleProvider(
        'broadnet',
        base_url='https://inference.broadnet.ai/v1',
        api_key=os.environ['BROADNET_API_KEY'],
    ),
)

agent = Agent(model)
result = agent.run_sync('Give me three names for a Go linting tool.')
print(result.output)

L’exécution sert de test : une réponse affichée signifie que la clé, l’URL et l’ID du modèle sont corrects.

  • Le premier argument est l’ID du modèle envoyé à BroadNet. Reprenez-le exactement, avec le préfixe broadnet/.
  • Le nom du fournisseur (ici 'broadnet') est enregistré sur chaque réponse. La documentation de Pydantic AI conseille de le garder stable, car il détermine quelles données des réponses précédentes sont renvoyées au service.
  • Restez sur OpenAIChatModel. La documentation de Pydantic AI réserve OpenAIResponsesModel aux services qui implémentent la Responses API. BroadNet ne l’indique pas.

Outils et sortie structurée

from pydantic import BaseModel

class City(BaseModel):
    name: str
    country: str

agent = Agent(model, output_type=City)
print(agent.run_sync('Which city hosts the Burj Khalifa?').output)

Utilisez broadnet/glm-5.3 ou broadnet/qwen3.8-27b pour les outils et la sortie structurée ; la documentation de BroadNet n’indique ces deux fonctionnalités que pour ces deux modèles.

Quand définir un profil de modèle

Pydantic AI choisit un profil de requête d’après le nom du modèle. Si une fonctionnalité est ignorée ou refusée, sa documentation conseille de passer votre propre OpenAIModelProfile. Deux réglages sont utiles à connaître pour BroadNet :

from pydantic_ai.profiles.openai import OpenAIModelProfile

model = OpenAIChatModel(
    'broadnet/glm-5.3',
    provider=OpenAICompatibleProvider('broadnet', base_url='https://inference.broadnet.ai/v1', api_key=os.environ['BROADNET_API_KEY']),
    profile=OpenAIModelProfile(
        openai_chat_supports_max_completion_tokens=False,  # send max_tokens, the field BroadNet documents
        openai_supports_strict_tool_definition=False,      # only if strict tool schemas are rejected
    ),
)

Passez la limite de sortie via les réglages du modèle, par exemple agent.run_sync(prompt, model_settings={'max_tokens': 2000}). Sur DeepSeek V4.1 Flash, GLM 5.3 et Qwen3.8 27B, le raisonnement est décompté de cette limite.

Quel modèle choisir ?

Agent Modèle
Outils, sortie structurée broadnet/glm-5.3
Images ou texte arabe, avec outils broadnet/qwen3.8-27b
Longs documents, forfait à prix fixe broadnet/deepseek-v4.1-flash
Crédit de départ gratuit broadnet/gemma-4-26b-a4b (contexte de 32 768 tokens)

Les prix de chaque modèle.

Dépannage

  • 401. La clé est erronée, expirée ou son quota est épuisé.
  • 404 ou modèle introuvable. base_url doit se terminer par /v1. Vérifiez l’ID du modèle. Les modèles payants nécessitent une recharge ; le crédit de $5 ne couvre que broadnet/gemma-4-26b-a4b et les deux modèles Transcribe.
  • Sortie vide ou boucle de relances de validation. Le raisonnement a consommé le budget de sortie. Augmentez max_tokens. Pourquoi les réponses reviennent vides.
  • 400 sur les définitions d’outils. Définissez openai_supports_strict_tool_definition=False dans le profil, et utilisez un modèle que BroadNet indique avec outils.
  • 429 quand vous lancez des agents en parallèle. Une clé à l’usage autorise 30 requêtes par minute et 4 requêtes en cours. Voir codes d’erreur et nouvelles tentatives.

Questions fréquentes

Pour BroadNet, faut-il utiliser OpenAIProvider ou OpenAICompatibleProvider ?

OpenAICompatibleProvider. La documentation de Pydantic AI indique qu’OpenAIProvider accepte aussi une base_url, mais qu’il est destiné à OpenAI lui-même ou à un proxy transparent vers OpenAI, et qu’il suppose les modèles et fonctionnalités d’OpenAI.

Pourquoi OpenAIChatModel et pas le modèle OpenAI par défaut ?

Le modèle OpenAI par défaut de Pydantic AI utilise la Responses API. BroadNet sert les chat completions sur /v1/chat/completions, ce qu’appelle OpenAIChatModel.

Les outils et la sortie structurée fonctionnent-ils ?

Oui, sur les modèles que BroadNet indique avec outils et sortie structurée : GLM 5.3 et Qwen3.8 27B. La documentation de BroadNet n’indique pas d’outils pour DeepSeek V4.1 Flash : testez d’abord les agents qui en utilisent.

Comment empêcher Pydantic AI d’envoyer max_completion_tokens ?

Passez profile=OpenAIModelProfile(openai_chat_supports_max_completion_tokens=False) à OpenAIChatModel. Pydantic AI envoie alors l’ancien champ max_tokens, celui que décrit la référence de l’API de BroadNet.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity