promptfoo è una CLI open source per testare prompt, confrontare modelli e fare red teaming delle app LLM. Il suo provider OpenAI funziona con i gateway compatibili con OpenAI tramite apiBaseUrl. BroadNet Inference serve chat completions su https://inference.broadnet.ai/v1, quindi puoi confrontare i modelli di BroadNet tra loro, o con i modelli che usi già, da un unico file YAML. BroadRouter è il sito di BroadNet; questa guida segue la documentazione del provider OpenAI di promptfoo alla release 0.125.1.
Installazione
npm install -g promptfoo # or: npx promptfoo@latest
export BROADNET_API_KEY='your-broadnet-key'
promptfooconfig.yaml
description: BroadNet model comparison
prompts:
- 'What is the capital of Saudi Arabia? Answer in one sentence.'
providers:
- id: openai:chat:broadnet/glm-5.3
label: GLM 5.3
config:
apiBaseUrl: https://inference.broadnet.ai/v1
apiKeyEnvar: BROADNET_API_KEY
max_tokens: 4000
- id: openai:chat:broadnet/deepseek-v4.1-flash
label: DeepSeek V4.1 Flash
config:
apiBaseUrl: https://inference.broadnet.ai/v1
apiKeyEnvar: BROADNET_API_KEY
omitDefaults: true
tests:
- assert:
- type: icontains
value: Riyadh
Le configurazioni reali di solito mettono gli input dei test in tests.vars e li richiamano nel prompt con la sintassi di template a doppie graffe di promptfoo. Qui li abbiamo lasciati fissi, così il file funziona così com’è.
Eseguilo:
promptfoo eval
promptfoo view # side-by-side results in the browser
Cosa fa ogni impostazione
openai:chat:più l’ID di BroadNet. Tutto ciò che segueopenai:chat:è l’ID del modello inviato, quindi mantieni il prefissobroadnet/. La partechatesplicita fissa l’endpoint Chat Completions; BroadNet non serve la Responses API.apiBaseUrlè la base URL con/v1, ma senza/chat/completions. Il percorso lo aggiunge promptfoo.apiKeyEnvarindica la variabile che contiene la tua chiave BroadNet. Se manca, promptfoo non ripiega suOPENAI_API_KEY.max_tokens. Per le richieste senza ragionamento promptfoo usa di defaulttemperature: 0e un limite di 1.024 token. I modelli DeepSeek, GLM e Qwen di BroadNet ragionano prima di rispondere, quindi 1.024 può produrre risposte vuote. Imposta un limite più alto, come nel primo provider.omitDefaults: trueelimina la temperatura e il limite predefiniti di promptfoo, come nel secondo provider. La richiesta quindi non ha alcun limite di output impostato da promptfoo.
Asserzioni valutate da un modello
Le impostazioni del provider non valgono per i grader come llm-rubric. Per valutare con un modello BroadNet, aggiungilo di nuovo per il grader:
defaultTest:
options:
provider:
id: openai:chat:broadnet/glm-5.3
config:
apiBaseUrl: https://inference.broadnet.ai/v1
apiKeyEnvar: BROADNET_API_KEY
max_tokens: 4000
Quali modelli confrontare
| Modello | Adatto a |
|---|---|
broadnet/glm-5.3 |
Test di tool calling e output strutturato |
broadnet/qwen3.8-27b |
Test con immagini, testo arabo o strumenti |
broadnet/deepseek-v4.1-flash |
Test con contesto lungo e attenti ai costi |
broadnet/gemma-4-26b-a4b |
Test gratuiti con il credito iniziale di $5 |
La documentazione di BroadNet indica strumenti e output strutturato solo per GLM 5.3 e Qwen3.8 27B. Prezzi di tutti i modelli.
Come lo abbiamo testato
Il 2026-11-15 abbiamo installato promptfoo 0.125.1 con Node 24 e lanciato promptfoo eval su una configurazione simile a quella sopra, puntata su un server mock locale che risponde nel formato chat completions di BroadNet. I test sono passati. Le richieste registrate sono andate a /v1/chat/completions con l’ID del modello BroadNet invariato e una chiave Bearer. Il primo provider ha inviato max_tokens: 4000 e temperature: 0; il provider con omitDefaults: true ha inviato solo il modello e i messaggi. Con BROADNET_API_KEY non impostata, promptfoo si è fermato con “Missing BROADNET_API_KEY”. Non abbiamo testato i grader e non avevamo una chiave BroadNet, quindi non abbiamo testato l’output reale dei modelli.
Risoluzione dei problemi
- Output vuoti o troncati. Alza
max_tokens. Perché le risposte arrivano vuote. - 404. Controlla che
apiBaseUrltermini con/v1e che l’ID del modello dopoopenai:chat:mantenga il prefissobroadnet/. I modelli a pagamento richiedono una ricarica; il credito di $5 copre solobroadnet/gemma-4-26b-a4be i due modelli Transcribe. - 429 durante eval grandi. promptfoo ha eseguito il nostro eval con una concorrenza di 4. Una chiave a consumo consente 30 richieste al minuto e 4 in corso, quindi abbassala con
promptfoo eval -j 1per i set di test grandi. Vedi errori e nuovi tentativi.
