promptfoo est une CLI open source pour tester des prompts, comparer des modèles et faire du red teaming sur des applications LLM. Son fournisseur OpenAI fonctionne avec les passerelles compatibles OpenAI via apiBaseUrl. BroadNet Inference sert les chat completions à l’adresse https://inference.broadnet.ai/v1 : vous pouvez donc comparer les modèles de BroadNet entre eux, ou avec ceux que vous utilisez déjà, depuis un seul fichier YAML. BroadRouter est le site de BroadNet ; ce guide suit la documentation du fournisseur OpenAI de promptfoo à la version 0.125.1.
Installation
npm install -g promptfoo # or: npx promptfoo@latest
export BROADNET_API_KEY='your-broadnet-key'
promptfooconfig.yaml
description: BroadNet model comparison
prompts:
- 'What is the capital of Saudi Arabia? Answer in one sentence.'
providers:
- id: openai:chat:broadnet/glm-5.3
label: GLM 5.3
config:
apiBaseUrl: https://inference.broadnet.ai/v1
apiKeyEnvar: BROADNET_API_KEY
max_tokens: 4000
- id: openai:chat:broadnet/deepseek-v4.1-flash
label: DeepSeek V4.1 Flash
config:
apiBaseUrl: https://inference.broadnet.ai/v1
apiKeyEnvar: BROADNET_API_KEY
omitDefaults: true
tests:
- assert:
- type: icontains
value: Riyadh
Dans une vraie configuration, on place généralement les entrées de test dans tests.vars et on les référence dans le prompt avec la syntaxe de template à doubles accolades de promptfoo. Nous avons gardé celle-ci figée pour qu’elle tourne telle quelle.
Lancez-la :
promptfoo eval
promptfoo view # side-by-side results in the browser
Rôle de chaque réglage
openai:chat:suivi de l’ID BroadNet. Tout ce qui suitopenai:chat:est l’ID de modèle envoyé : gardez donc le préfixebroadnet/. La partiechatexplicite fixe l’endpoint Chat Completions ; BroadNet ne sert pas la Responses API.apiBaseUrlest l’URL de base avec/v1, mais sans/chat/completions. promptfoo ajoute le chemin.apiKeyEnvarnomme la variable qui contient votre clé BroadNet. Si elle manque, promptfoo ne se rabat pas surOPENAI_API_KEY.max_tokens. Pour les requêtes sans raisonnement, promptfoo utilise par défauttemperature: 0et une limite de 1 024 tokens. Les modèles DeepSeek, GLM et Qwen de BroadNet raisonnent avant de répondre : 1 024 peut donc produire des réponses vides. Fixez une limite plus haute, comme pour le premier fournisseur.omitDefaults: truesupprime la température et la limite par défaut de promptfoo, comme pour le second fournisseur. La requête ne porte alors aucune limite de sortie venant de promptfoo.
Assertions notées par un modèle
Les réglages du fournisseur ne s’appliquent pas aux graders comme llm-rubric. Pour noter avec un modèle BroadNet, déclarez-le une seconde fois pour le grader :
defaultTest:
options:
provider:
id: openai:chat:broadnet/glm-5.3
config:
apiBaseUrl: https://inference.broadnet.ai/v1
apiKeyEnvar: BROADNET_API_KEY
max_tokens: 4000
Quels modèles comparer ?
| Modèle | Idéal pour |
|---|---|
broadnet/glm-5.3 |
Tests d’appel d’outils et de sortie structurée |
broadnet/qwen3.8-27b |
Tests avec images, texte arabe ou outils |
broadnet/deepseek-v4.1-flash |
Tests à long contexte et tests sensibles au coût |
broadnet/gemma-4-26b-a4b |
Tests gratuits avec le crédit de départ de $5 |
La documentation de BroadNet n’indique les outils et la sortie structurée que pour GLM 5.3 et Qwen3.8 27B. Les prix de chaque modèle.
Comment nous l’avons testé
Le 15 novembre 2026, nous avons installé promptfoo 0.125.1 avec Node 24 et lancé promptfoo eval sur une configuration semblable à celle ci-dessus, pointée vers un serveur fictif local qui imite le format chat completions de BroadNet. Les tests sont passés. Les requêtes journalisées visaient /v1/chat/completions, avec l’ID de modèle BroadNet inchangé et une clé Bearer. Le premier fournisseur a envoyé max_tokens: 4000 et temperature: 0 ; le fournisseur avec omitDefaults: true n’a envoyé que le modèle et les messages. Sans BROADNET_API_KEY défini, promptfoo s’est arrêté avec « Missing BROADNET_API_KEY ». Nous n’avons pas testé les graders, et faute de clé BroadNet, nous n’avons pas testé de vraie sortie de modèle.
Dépannage
- Sorties vides ou tronquées. Augmentez
max_tokens. Pourquoi les réponses reviennent vides. - 404. Vérifiez que
apiBaseUrlse termine par/v1et que l’ID de modèle aprèsopenai:chat:garde le préfixebroadnet/. Les modèles payants nécessitent une recharge ; le crédit de $5 ne couvre quebroadnet/gemma-4-26b-a4bet les deux modèles Transcribe. - 429 pendant de grosses evals. promptfoo a lancé notre eval avec une concurrence de 4. Une clé à l’usage autorise 30 requêtes par minute et 4 requêtes en cours : réduisez-la avec
promptfoo eval -j 1pour les gros jeux de tests. Voir codes d’erreur et nouvelles tentatives.
