promptfoo ist ein Open-Source-CLI, mit dem Sie Prompts testen, Modelle vergleichen und LLM-Apps per Red Teaming prüfen. Sein OpenAI-Provider funktioniert über apiBaseUrl mit OpenAI-kompatiblen Gateways. BroadNet Inference bietet Chat Completions unter https://inference.broadnet.ai/v1, Sie können also aus einer einzigen YAML-Datei die Modelle von BroadNet untereinander oder mit Modellen vergleichen, die Sie bereits nutzen. BroadRouter ist die eigene Website von BroadNet; diese Anleitung folgt der Dokumentation des OpenAI-Providers von promptfoo mit Stand von Release 0.125.1.
Einrichten
npm install -g promptfoo # or: npx promptfoo@latest
export BROADNET_API_KEY='your-broadnet-key'
promptfooconfig.yaml
description: BroadNet model comparison
prompts:
- 'What is the capital of Saudi Arabia? Answer in one sentence.'
providers:
- id: openai:chat:broadnet/glm-5.3
label: GLM 5.3
config:
apiBaseUrl: https://inference.broadnet.ai/v1
apiKeyEnvar: BROADNET_API_KEY
max_tokens: 4000
- id: openai:chat:broadnet/deepseek-v4.1-flash
label: DeepSeek V4.1 Flash
config:
apiBaseUrl: https://inference.broadnet.ai/v1
apiKeyEnvar: BROADNET_API_KEY
omitDefaults: true
tests:
- assert:
- type: icontains
value: Riyadh
Echte Konfigurationen legen Testeingaben meist in tests.vars ab und referenzieren sie im Prompt mit der Template-Syntax von promptfoo in doppelten geschweiften Klammern. Wir haben dieses Beispiel fest verdrahtet, damit es so wie abgedruckt läuft.
Ausführen:
promptfoo eval
promptfoo view # side-by-side results in the browser
Was jede Einstellung bewirkt
openai:chat:plus die BroadNet-ID. Alles nachopenai:chat:ist die gesendete Modell-ID, behalten Sie also das Präfixbroadnet/. Der explizite Teilchatlegt den Endpoint Chat Completions fest; die Responses API bietet BroadNet nicht.apiBaseUrlist die Basis-URL mit/v1, aber ohne/chat/completions. promptfoo hängt den Pfad selbst an.apiKeyEnvarnennt die Variable, die Ihren BroadNet-Schlüssel enthält. Fehlt sie, greift promptfoo nicht aufOPENAI_API_KEYzurück.max_tokens. Die Standardwerte von promptfoo für Anfragen ohne Reasoning sindtemperature: 0und ein Limit von 1.024 Token. Die Modelle DeepSeek, GLM und Qwen von BroadNet denken vor der Antwort nach (Reasoning), daher können 1.024 Token zu leeren Antworten führen. Setzen Sie ein höheres Limit, wie beim ersten Provider.omitDefaults: trueverwirft die Standard-Temperatur und das Standard-Limit von promptfoo, wie beim zweiten Provider. Die Anfrage enthält dann kein Ausgabelimit von promptfoo.
Von Modellen bewertete Assertions
Provider-Einstellungen gelten nicht für Grader wie llm-rubric. Um mit einem BroadNet-Modell zu bewerten, tragen Sie es für den Grader noch einmal ein:
defaultTest:
options:
provider:
id: openai:chat:broadnet/glm-5.3
config:
apiBaseUrl: https://inference.broadnet.ai/v1
apiKeyEnvar: BROADNET_API_KEY
max_tokens: 4000
Welche Modelle Sie vergleichen sollten
| Modell | Geeignet für |
|---|---|
broadnet/glm-5.3 |
Tests mit Tool Calling und strukturierter Ausgabe |
broadnet/qwen3.8-27b |
Tests mit Bildern, arabischem Text oder Tools |
broadnet/deepseek-v4.1-flash |
Tests mit langem Kontext und kostensensible Tests |
broadnet/gemma-4-26b-a4b |
Kostenlose Tests mit dem Startguthaben von $5 |
Die Dokumentation von BroadNet listet Tools und strukturierte Ausgabe nur für GLM 5.3 und Qwen3.8 27B. Preise aller Modelle.
Wie wir das getestet haben
Am 15. November 2026 haben wir promptfoo 0.125.1 mit Node 24 installiert und promptfoo eval mit einer Konfiguration wie oben ausgeführt, gerichtet auf einen lokalen Mock-Server, der das Chat-Completions-Format von BroadNet spricht. Die Tests liefen durch. Die protokollierten Anfragen gingen an /v1/chat/completions, mit unveränderter BroadNet-Modell-ID und einem Bearer-Schlüssel. Der erste Provider sendete max_tokens: 4000 und temperature: 0; der Provider mit omitDefaults: true sendete nur das Modell und die Nachrichten. Ohne gesetztes BROADNET_API_KEY brach promptfoo mit „Missing BROADNET_API_KEY“ ab. Grader haben wir nicht getestet, und da wir keinen BroadNet-Schlüssel hatten, auch keine echte Modellausgabe.
Fehlerbehebung
- Leere oder abgeschnittene Ausgaben. Erhöhen Sie
max_tokens. Warum Antworten leer zurückkommen. - 404. Prüfen Sie, ob
apiBaseUrlauf/v1endet und die Modell-ID nachopenai:chat:das Präfixbroadnet/behält. Kostenpflichtige Modelle erfordern eine Aufladung; das Guthaben von $5 deckt nurbroadnet/gemma-4-26b-a4bund die beiden Transcribe-Modelle ab. - 429 bei großen Evals. promptfoo hat unseren Eval mit einer Concurrency von 4 ausgeführt. Ein Pay-as-you-go-Schlüssel erlaubt 30 Anfragen pro Minute und 4 gleichzeitig laufende, senken Sie den Wert für große Testsets also mit
promptfoo eval -j 1. Siehe Fehler und Retries.
