---
title: "promptfoo-Provider openai:chat mit eigener apiBaseUrl"
description: "promptfoo-Evals und Modellvergleiche nebeneinander auf BroadNet Inference ausführen: mit dem Provider openai:chat, apiBaseUrl und apiKeyEnvar, dazu Grader."
url: https://broadrouter.com/de/guides/promptfoo-openai-compatible/
lang: de
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Mit KI-Unterstützung aus dem Englischen übersetzt. [Englisches Original lesen](https://broadrouter.com/guides/promptfoo-openai-compatible/) (aktualisiert am 2026-11-16).

# BroadNet-Modelle mit promptfoo evaluieren

Aktualisiert 2026-11-16

Legen Sie in promptfooconfig.yaml einen Provider mit der id openai:chat:broadnet/glm-5.3 an, dessen config apiBaseUrl auf https://inference.broadnet.ai/v1 und apiKeyEnvar auf BROADNET\_API\_KEY setzt. Mit dem Präfix openai:chat ruft promptfoo immer Chat Completions auf, den Endpoint, den BroadNet bietet. Setzen Sie max\_tokens selbst, denn promptfoo begrenzt die Ausgabe standardmäßig auf 1.024 Token.

promptfoo ist ein Open-Source-CLI, mit dem Sie Prompts testen, Modelle vergleichen und LLM-Apps per Red Teaming prüfen. Sein OpenAI-Provider funktioniert über `apiBaseUrl` mit OpenAI-kompatiblen Gateways. BroadNet Inference bietet Chat Completions unter `https://inference.broadnet.ai/v1`, Sie können also aus einer einzigen YAML-Datei die Modelle von BroadNet untereinander oder mit Modellen vergleichen, die Sie bereits nutzen. BroadRouter ist die eigene Website von BroadNet; diese Anleitung folgt der Dokumentation des OpenAI-Providers von promptfoo mit Stand von Release 0.125.1.

## Einrichten

```bash
npm install -g promptfoo     # or: npx promptfoo@latest
export BROADNET_API_KEY='your-broadnet-key'
```

## promptfooconfig.yaml

```yaml
description: BroadNet model comparison
prompts:
  - 'What is the capital of Saudi Arabia? Answer in one sentence.'
providers:
  - id: openai:chat:broadnet/glm-5.3
    label: GLM 5.3
    config:
      apiBaseUrl: https://inference.broadnet.ai/v1
      apiKeyEnvar: BROADNET_API_KEY
      max_tokens: 4000
  - id: openai:chat:broadnet/deepseek-v4.1-flash
    label: DeepSeek V4.1 Flash
    config:
      apiBaseUrl: https://inference.broadnet.ai/v1
      apiKeyEnvar: BROADNET_API_KEY
      omitDefaults: true
tests:
  - assert:
      - type: icontains
        value: Riyadh
```

Echte Konfigurationen legen Testeingaben meist in `tests.vars` ab und referenzieren sie im Prompt mit der Template-Syntax von promptfoo in doppelten geschweiften Klammern. Wir haben dieses Beispiel fest verdrahtet, damit es so wie abgedruckt läuft.

Ausführen:

```bash
promptfoo eval
promptfoo view   # side-by-side results in the browser
```

## Was jede Einstellung bewirkt

-   **`openai:chat:` plus die BroadNet-ID.** Alles nach `openai:chat:` ist die gesendete Modell-ID, behalten Sie also das Präfix `broadnet/`. Der explizite Teil `chat` legt den Endpoint Chat Completions fest; die Responses API bietet BroadNet nicht.
-   **`apiBaseUrl`** ist die Basis-URL mit `/v1`, aber ohne `/chat/completions`. promptfoo hängt den Pfad selbst an.
-   **`apiKeyEnvar`** nennt die Variable, die Ihren BroadNet-Schlüssel enthält. Fehlt sie, greift promptfoo nicht auf `OPENAI_API_KEY` zurück.
-   **`max_tokens`**. Die Standardwerte von promptfoo für Anfragen ohne Reasoning sind `temperature: 0` und ein Limit von 1.024 Token. Die Modelle DeepSeek, GLM und Qwen von BroadNet denken vor der Antwort nach (Reasoning), daher können 1.024 Token zu leeren Antworten führen. Setzen Sie ein höheres Limit, wie beim ersten Provider.
-   **`omitDefaults: true`** verwirft die Standard-Temperatur und das Standard-Limit von promptfoo, wie beim zweiten Provider. Die Anfrage enthält dann kein Ausgabelimit von promptfoo.

## Von Modellen bewertete Assertions

Provider-Einstellungen gelten nicht für Grader wie `llm-rubric`. Um mit einem BroadNet-Modell zu bewerten, tragen Sie es für den Grader noch einmal ein:

```yaml
defaultTest:
  options:
    provider:
      id: openai:chat:broadnet/glm-5.3
      config:
        apiBaseUrl: https://inference.broadnet.ai/v1
        apiKeyEnvar: BROADNET_API_KEY
        max_tokens: 4000
```

## Welche Modelle Sie vergleichen sollten

| Modell | Geeignet für |
| --- | --- |
| `broadnet/glm-5.3` | Tests mit Tool Calling und strukturierter Ausgabe |
| `broadnet/qwen3.8-27b` | Tests mit Bildern, arabischem Text oder Tools |
| `broadnet/deepseek-v4.1-flash` | Tests mit langem Kontext und kostensensible Tests |
| `broadnet/gemma-4-26b-a4b` | Kostenlose Tests mit dem Startguthaben von $5 |

Die Dokumentation von BroadNet listet Tools und strukturierte Ausgabe nur für GLM 5.3 und Qwen3.8 27B. [Preise aller Modelle](https://broadrouter.com/de/pricing/).

## Wie wir das getestet haben

Am 15. November 2026 haben wir promptfoo 0.125.1 mit Node 24 installiert und `promptfoo eval` mit einer Konfiguration wie oben ausgeführt, gerichtet auf einen lokalen Mock-Server, der das Chat-Completions-Format von BroadNet spricht. Die Tests liefen durch. Die protokollierten Anfragen gingen an `/v1/chat/completions`, mit unveränderter BroadNet-Modell-ID und einem Bearer-Schlüssel. Der erste Provider sendete `max_tokens: 4000` und `temperature: 0`; der Provider mit `omitDefaults: true` sendete nur das Modell und die Nachrichten. Ohne gesetztes `BROADNET_API_KEY` brach promptfoo mit „Missing BROADNET\_API\_KEY“ ab. Grader haben wir nicht getestet, und da wir keinen BroadNet-Schlüssel hatten, auch keine echte Modellausgabe.

## Fehlerbehebung

-   **Leere oder abgeschnittene Ausgaben.** Erhöhen Sie `max_tokens`. [Warum Antworten leer zurückkommen](https://broadrouter.com/de/guides/reasoning-tokens-empty-response/).
-   **404.** Prüfen Sie, ob `apiBaseUrl` auf `/v1` endet und die Modell-ID nach `openai:chat:` das Präfix `broadnet/` behält. Kostenpflichtige Modelle erfordern eine Aufladung; das Guthaben von $5 deckt nur `broadnet/gemma-4-26b-a4b` und die beiden Transcribe-Modelle ab.
-   **429 bei großen Evals.** promptfoo hat unseren Eval mit einer Concurrency von 4 ausgeführt. Ein Pay-as-you-go-Schlüssel erlaubt 30 Anfragen pro Minute und 4 gleichzeitig laufende, senken Sie den Wert für große Testsets also mit `promptfoo eval -j 1`. Siehe [Fehler und Retries](https://broadrouter.com/de/guides/errors-and-retries/).

## Begriffe in dieser Anleitung

[Tool Calling (Function Calling)](https://broadrouter.com/de/glossary/tool-calling/)

Tool Calling, auch Function Calling genannt, ist eine Funktion von LLM-APIs, bei der das Modell eine strukturierte Anfrage zurückgibt, eine vom Entwickler definierte Funktion mit JSON-Argumenten auszuführen. Die Anwendung führt die Funktion aus und sendet das Ergebnis zurück; das Modell selbst führt nie Code aus.

[Eval (LLM-Evaluierung)](https://broadrouter.com/de/glossary/eval/)

Ein Eval (kurz für Evaluation) ist ein wiederholbarer Test eines Sprachmodells oder Prompts: eine feste Menge an Inputs, eine Beschreibung, wie ein guter Output aussieht, und ein Bewerter (Code, ein Mensch oder ein anderes Modell), der jeden Output benotet, damit sich Versionen vergleichen lassen.

[Chat Completions API](https://broadrouter.com/de/glossary/chat-completions-api/)

Die Chat Completions API ist der HTTP-Endpoint von OpenAI, POST /v1/chat/completions, der einen Modellnamen und eine Liste von Nachrichten mit Rollen entgegennimmt und die nächste Nachricht des Modells zurückgibt. Ihr Format für Anfrage und Antwort wurde zum gemeinsamen Standard, den OpenAI-kompatible Anbieter und SDKs übernehmen.

[Concurrency (Parallelität)](https://broadrouter.com/de/glossary/concurrency/)

Concurrency (Parallelität) ist die Zahl der Anfragen, die ein Client gleichzeitig offen hat. LLM-APIs begrenzen sie oft pro Schlüssel oder Plan, getrennt von den Anfragen pro Minute, weil jede offene Anfrage GPU-Kapazität belegt, bis ihre Antwort fertig ist.

[Pay-as-you-go](https://broadrouter.com/de/glossary/pay-as-you-go/)

Pay-as-you-go ist ein Preismodell, bei dem Sie nur für tatsächliche Nutzung zahlen, gemessen pro Einheit wie Tokens, Anfragen oder Audiominuten, ohne Abonnement oder Mindestabnahme. Die meisten LLM-APIs rechnen so ab, aus einem vorausbezahlten Guthaben oder per regelmäßiger Rechnung.

[Rate Limit (Ratenbegrenzung)](https://broadrouter.com/de/glossary/rate-limit/)

Ein Rate Limit ist eine Obergrenze, die eine API festlegt, wie stark ein Client sie in einem Zeitfenster nutzen darf, etwa Anfragen pro Minute oder Tokens pro Minute. Anfragen über dem Limit werden abgelehnt, meist mit HTTP 429 Too Many Requests, bis die Nutzung wieder darunter liegt.

[Token](https://broadrouter.com/de/glossary/token/)

Ein Token ist die Texteinheit, die ein Sprachmodell liest und schreibt: ein Wort, ein Wortteil, ein Satzzeichen oder eine Bytefolge, die der Tokenizer des Modells erzeugt. LLM-APIs zählen, begrenzen und berechnen die Nutzung meist in Tokens.

[Basis-URL (Base URL)](https://broadrouter.com/de/glossary/base-url/)

Eine Basis-URL ist die feste Stammadresse einer API, etwa https://api.example.com/v1, die ein Client vor jeden Endpoint-Pfad wie /chat/completions setzt. In OpenAI-kompatiblen SDKs lenkt eine geänderte Basis-URL, zusammen mit API-Schlüssel und Modell-ID, denselben Code zu einem anderen Anbieter.

## Häufige Fragen

### Sollte ich in promptfoo openai:chat oder openai als Provider-Präfix verwenden?

openai:chat. Mit openai:chat:broadnet/glm-5.3 ruft promptfoo /v1/chat/completions auf, und genau das bietet BroadNet. Laut Dokumentation von promptfoo fällt auch ein unbekannter Modellname nach dem bloßen Präfix openai auf Chat Completions zurück, aber das explizite chat-Präfix hängt nicht von dieser Regel ab.

### Warum werden BroadNet-Antworten in promptfoo abgeschnitten?

promptfoo setzt für Anfragen ohne Reasoning standardmäßig ein Ausgabelimit von 1.024 Token, und die Modelle DeepSeek, GLM und Qwen von BroadNet verbrauchen einen Teil des Ausgabebudgets für Reasoning. Setzen Sie max\_tokens in der Provider-config oder omitDefaults auf true.

### Fällt apiKeyEnvar auf OPENAI\_API\_KEY zurück?

Nein. Laut Dokumentation von promptfoo greift es nicht auf OPENAI\_API\_KEY zurück, wenn die genannte Variable fehlt. In unserem Test brach es mit „Missing BROADNET\_API\_KEY“ ab.

### Kann ein BroadNet-Modell llm-rubric-Assertions bewerten?

Ja, aber laut Dokumentation von promptfoo gelten Provider-Einstellungen nicht für Grader. Legen Sie den Grader separat unter defaultTest.options.provider mit derselben id und config an.

## Verwandte Anleitungen

-   [Schnellstart mit curl: erste Anfrage an BroadNet Inference](https://broadrouter.com/de/guides/curl-quickstart/)
-   [OpenAI Node.js SDK mit BroadNet Inference nutzen](https://broadrouter.com/de/guides/openai-node-sdk/)
-   [Warum ein Reasoning-Modell eine leere Antwort liefert](https://broadrouter.com/de/guides/reasoning-tokens-empty-response/)
-   [Fehlercodes von BroadNet Inference: Wann ist ein Retry sinnvoll?](https://broadrouter.com/de/guides/errors-and-retries/)
-   [Alle Tools, die mit BroadNet Inference funktionieren (auf Englisch)](https://broadrouter.com/integrations/): SDKs, Coding-Agenten, Chat-Oberflächen und Automatisierungstools, jeweils mit den genauen Einstellungen

Testen Sie es mit Ihrem echten Workload. Neue Konten starten mit USD 5 Guthaben für Gemma und Transkription. DeepSeek, GLM und Qwen3.8 erfordern eine Aufladung.

[Loslegen](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-guides-promptfoo-openai-compatible&utm_content=page-cta) ·

**Quellen**

-   [Dokumentation von promptfoo, OpenAI-Provider (OpenAI-kompatible Gateways) (geprüft am 2026-11-15)](https://www.promptfoo.dev/docs/providers/openai/)
-   [promptfoo auf GitHub, Release 0.125.1 vom 2026-10-25 (geprüft am 2026-11-15)](https://github.com/promptfoo/promptfoo/releases/tag/0.125.1)
-   [API-Referenz von BroadNet Inference (geprüft am 2026-11-15) (auf Englisch)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-guides-promptfoo-openai-compatible&utm_content=sources)
