BroadRouter

Évaluer les modèles BroadNet avec promptfoo

Mis à jour

Dans promptfooconfig.yaml, ajoutez un fournisseur avec l’id openai:chat:broadnet/glm-5.3 et une config qui définit apiBaseUrl sur https://inference.broadnet.ai/v1 et apiKeyEnvar sur BROADNET_API_KEY. Le préfixe openai:chat garantit que promptfoo appelle toujours Chat Completions, l’endpoint que sert BroadNet. Définissez vous-même max_tokens, car promptfoo limite la sortie à 1 024 tokens par défaut.

promptfoo est une CLI open source pour tester des prompts, comparer des modèles et faire du red teaming sur des applications LLM. Son fournisseur OpenAI fonctionne avec les passerelles compatibles OpenAI via apiBaseUrl. BroadNet Inference sert les chat completions à l’adresse https://inference.broadnet.ai/v1 : vous pouvez donc comparer les modèles de BroadNet entre eux, ou avec ceux que vous utilisez déjà, depuis un seul fichier YAML. BroadRouter est le site de BroadNet ; ce guide suit la documentation du fournisseur OpenAI de promptfoo à la version 0.125.1.

Installation

npm install -g promptfoo     # or: npx promptfoo@latest
export BROADNET_API_KEY='your-broadnet-key'

promptfooconfig.yaml

description: BroadNet model comparison
prompts:
  - 'What is the capital of Saudi Arabia? Answer in one sentence.'
providers:
  - id: openai:chat:broadnet/glm-5.3
    label: GLM 5.3
    config:
      apiBaseUrl: https://inference.broadnet.ai/v1
      apiKeyEnvar: BROADNET_API_KEY
      max_tokens: 4000
  - id: openai:chat:broadnet/deepseek-v4.1-flash
    label: DeepSeek V4.1 Flash
    config:
      apiBaseUrl: https://inference.broadnet.ai/v1
      apiKeyEnvar: BROADNET_API_KEY
      omitDefaults: true
tests:
  - assert:
      - type: icontains
        value: Riyadh

Dans une vraie configuration, on place généralement les entrées de test dans tests.vars et on les référence dans le prompt avec la syntaxe de template à doubles accolades de promptfoo. Nous avons gardé celle-ci figée pour qu’elle tourne telle quelle.

Lancez-la :

promptfoo eval
promptfoo view   # side-by-side results in the browser

Rôle de chaque réglage

  • openai:chat: suivi de l’ID BroadNet. Tout ce qui suit openai:chat: est l’ID de modèle envoyé : gardez donc le préfixe broadnet/. La partie chat explicite fixe l’endpoint Chat Completions ; BroadNet ne sert pas la Responses API.
  • apiBaseUrl est l’URL de base avec /v1, mais sans /chat/completions. promptfoo ajoute le chemin.
  • apiKeyEnvar nomme la variable qui contient votre clé BroadNet. Si elle manque, promptfoo ne se rabat pas sur OPENAI_API_KEY.
  • max_tokens. Pour les requêtes sans raisonnement, promptfoo utilise par défaut temperature: 0 et une limite de 1 024 tokens. Les modèles DeepSeek, GLM et Qwen de BroadNet raisonnent avant de répondre : 1 024 peut donc produire des réponses vides. Fixez une limite plus haute, comme pour le premier fournisseur.
  • omitDefaults: true supprime la température et la limite par défaut de promptfoo, comme pour le second fournisseur. La requête ne porte alors aucune limite de sortie venant de promptfoo.

Assertions notées par un modèle

Les réglages du fournisseur ne s’appliquent pas aux graders comme llm-rubric. Pour noter avec un modèle BroadNet, déclarez-le une seconde fois pour le grader :

defaultTest:
  options:
    provider:
      id: openai:chat:broadnet/glm-5.3
      config:
        apiBaseUrl: https://inference.broadnet.ai/v1
        apiKeyEnvar: BROADNET_API_KEY
        max_tokens: 4000

Quels modèles comparer ?

Modèle Idéal pour
broadnet/glm-5.3 Tests d’appel d’outils et de sortie structurée
broadnet/qwen3.8-27b Tests avec images, texte arabe ou outils
broadnet/deepseek-v4.1-flash Tests à long contexte et tests sensibles au coût
broadnet/gemma-4-26b-a4b Tests gratuits avec le crédit de départ de $5

La documentation de BroadNet n’indique les outils et la sortie structurée que pour GLM 5.3 et Qwen3.8 27B. Les prix de chaque modèle.

Comment nous l’avons testé

Le 15 novembre 2026, nous avons installé promptfoo 0.125.1 avec Node 24 et lancé promptfoo eval sur une configuration semblable à celle ci-dessus, pointée vers un serveur fictif local qui imite le format chat completions de BroadNet. Les tests sont passés. Les requêtes journalisées visaient /v1/chat/completions, avec l’ID de modèle BroadNet inchangé et une clé Bearer. Le premier fournisseur a envoyé max_tokens: 4000 et temperature: 0 ; le fournisseur avec omitDefaults: true n’a envoyé que le modèle et les messages. Sans BROADNET_API_KEY défini, promptfoo s’est arrêté avec « Missing BROADNET_API_KEY ». Nous n’avons pas testé les graders, et faute de clé BroadNet, nous n’avons pas testé de vraie sortie de modèle.

Dépannage

  • Sorties vides ou tronquées. Augmentez max_tokens. Pourquoi les réponses reviennent vides.
  • 404. Vérifiez que apiBaseUrl se termine par /v1 et que l’ID de modèle après openai:chat: garde le préfixe broadnet/. Les modèles payants nécessitent une recharge ; le crédit de $5 ne couvre que broadnet/gemma-4-26b-a4b et les deux modèles Transcribe.
  • 429 pendant de grosses evals. promptfoo a lancé notre eval avec une concurrence de 4. Une clé à l’usage autorise 30 requêtes par minute et 4 requêtes en cours : réduisez-la avec promptfoo eval -j 1 pour les gros jeux de tests. Voir codes d’erreur et nouvelles tentatives.

Questions fréquentes

Dans promptfoo, faut-il utiliser le préfixe openai:chat ou openai ?

openai:chat. Avec openai:chat:broadnet/glm-5.3, promptfoo appelle /v1/chat/completions, ce que sert BroadNet. La documentation de promptfoo indique qu’un nom de modèle inconnu après un simple préfixe openai se rabat aussi sur Chat Completions, mais le préfixe chat explicite ne dépend pas de cette règle.

Pourquoi les réponses BroadNet sont-elles tronquées dans promptfoo ?

Par défaut, promptfoo fixe une limite de sortie de 1 024 tokens pour les requêtes sans raisonnement, et les modèles DeepSeek, GLM et Qwen de BroadNet consacrent une partie du budget de sortie au raisonnement. Définissez max_tokens dans la config du fournisseur, ou omitDefaults à true.

apiKeyEnvar se rabat-il sur OPENAI_API_KEY ?

Non. La documentation de promptfoo indique que si la variable nommée manque, il ne se rabat pas sur OPENAI_API_KEY. Dans notre test, il s’est arrêté avec « Missing BROADNET_API_KEY ».

Un modèle BroadNet peut-il noter des assertions llm-rubric ?

Oui, mais la documentation de promptfoo précise que les réglages du fournisseur ne s’appliquent pas aux graders. Configurez le grader séparément sous defaultTest.options.provider, avec le même id et la même config.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity