---
title: "CrewAI: eigene OpenAI-kompatible base_url einrichten"
description: "Verbinden Sie CrewAI-Agenten per LLM(custom_openai=True, base_url=...) mit BroadNet Inference und wählen Sie Modelle für Tools, langen Kontext und die Flatrate."
url: https://broadrouter.com/de/guides/crewai-custom-openai-endpoint/
lang: de
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Mit KI-Unterstützung aus dem Englischen übersetzt. [Englisches Original lesen](https://broadrouter.com/guides/crewai-custom-openai-endpoint/) (aktualisiert am 2026-11-16).

# CrewAI mit BroadNet Inference als eigenem OpenAI-Endpoint nutzen

Aktualisiert 2026-11-16

Erstellen Sie das Modell mit der Klasse LLM von crewai: model auf eine BroadNet-ID wie broadnet/glm-5.3, custom\_openai=True, base\_url auf https://inference.broadnet.ai/v1 und api\_key auf Ihren BroadNet-Schlüssel. Geben Sie dieses LLM dann jedem Agent. CrewAI nutzt seinen nativen OpenAI-Client und Chat Completions, LiteLLM muss also nicht installiert werden.

CrewAI ist ein Python-Framework für Teams aus Agenten. Die Dokumentation zeigt ein Muster für einen **eigenen OpenAI-kompatiblen Endpoint**: ein `LLM` mit `custom_openai=True` und einer `base_url`. BroadNet Inference stellt unter `https://inference.broadnet.ai/v1` Standard-Chat-Completions bereit und lässt sich dort direkt einhängen. BroadRouter ist die Website von BroadNet selbst; diese Anleitung folgt der Dokumentation und dem Quellcode von CrewAI in Version 1.15.41.

## Installation

```bash
pip install crewai
export BROADNET_API_KEY='your-broadnet-key'
```

## Verbinden

```python
import os
from crewai import LLM, Agent

llm = LLM(
    model="broadnet/glm-5.3",
    custom_openai=True,
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,  # reasoning counts toward this limit
)

# Quick test: one call straight to the model
print(llm.call("Say hello in five words."))

analyst = Agent(
    role="Analyst",
    goal="Summarize incidents",
    backstory="You write short incident summaries.",
    llm=llm,
)
print(analyst.kickoff("Summarize: the API returned 503 for four minutes after a deploy."))
```

Wenn `llm.call` eine Antwort ausgibt, stimmen Schlüssel, URL und Modell-ID.

## Wie CrewAI die Anfrage weiterleitet

Der Quellcode von CrewAI legt eine Reihenfolge fest: `custom_openai=True` kommt zuerst und erzwingt den nativen OpenAI-Provider, unabhängig davon, was der Modellname nahelegt. Außerdem wirft CrewAI einen Fehler, wenn kein eigener Endpoint über `base_url`, `api_base`, `OPENAI_BASE_URL` oder `OPENAI_API_BASE` gesetzt ist. Der Modell-String wird unverändert gesendet, `broadnet/glm-5.3` kommt also so bei BroadNet an.

Ohne `custom_openai` würde ein Name wie `broadnet/glm-5.3` als Provider `broadnet` gelesen, den CrewAI nicht kennt, und auf LiteLLM zurückfallen. Die dokumentierte Alternative ist `model="openai/broadnet/glm-5.3"` mit einer `base_url`: CrewAI entfernt das Präfix `openai/` und sendet den Rest.

Zwei weitere Punkte aus Code und Dokumentation von CrewAI:

-   **Feld für das Token-Limit.** Wenn Sie `max_tokens` übergeben, sendet der native Client bei Chat Completions `max_tokens`, also das Feld, das die API-Referenz von BroadNet beschreibt. Übergeben Sie `max_completion_tokens`, wird stattdessen dieses gesendet.
-   **Bleiben Sie bei Chat Completions.** Die CrewAI-Dokumentation zeigt `api="responses"`, um auf die Responses API umzuschalten. Setzen Sie das nicht; BroadNet listet diese API nicht.

## Welches Modell für welchen Agenten?

| Agent | Modell | Warum |
| --- | --- | --- |
| Agenten mit Tools | `broadnet/glm-5.3` | BroadNet gibt Tools und strukturierte Ausgabe an; 1M Kontext |
| Bild- oder arabische Eingaben, mit Tools | `broadnet/qwen3.8-27b` | Tools plus Bilder; 262K Kontext |
| Lange Leseaufgaben, Flatrate-Plan | `broadnet/deepseek-v4.1-flash` | Unbegrenzte Pläne; Tools von BroadNet nicht gelistet |

Eine Crew kann die Modelle mischen: Geben Sie jedem `Agent` sein eigenes `LLM`.

## Fehlerbehebung

-   **401.** Der Schlüssel ist falsch, abgelaufen oder sein Kontingent ist aufgebraucht. Wenn Sie `api_key` weggelassen haben, hat CrewAI `OPENAI_API_KEY` gelesen, und dort steht womöglich ein OpenAI-Schlüssel.
-   **„custom\_openai=True requires base\_url“.** Übergeben Sie `base_url` oder setzen Sie `OPENAI_BASE_URL`.
-   **Modell nicht gefunden.** Prüfen Sie, ob die ID exakt der von BroadNet entspricht. Kostenpflichtige Modelle brauchen eine Aufladung; das Guthaben von $5 deckt nur `broadnet/gemma-4-26b-a4b` und die beiden Transcribe-Modelle ab.
-   **`EmptyLLMResponseError`.** CrewAI wiederholt eine leere Antwort einmal und löst dann diesen Fehler aus. Erhöhen Sie `max_tokens`. [Warum Antworten leer zurückkommen](https://broadrouter.com/de/guides/reasoning-tokens-empty-response/).
-   **429 mit mehreren Agenten.** Ein Pay-as-you-go-Schlüssel erlaubt 30 Anfragen pro Minute und 4 gleichzeitig laufende, und eine Plan-Session verarbeitet immer nur eine Anfrage. Siehe [Fehlercodes und Retries](https://broadrouter.com/de/guides/errors-and-retries/).

## Begriffe in dieser Anleitung

[Tool Calling (Function Calling)](https://broadrouter.com/de/glossary/tool-calling/)

Tool Calling, auch Function Calling genannt, ist eine Funktion von LLM-APIs, bei der das Modell eine strukturierte Anfrage zurückgibt, eine vom Entwickler definierte Funktion mit JSON-Argumenten auszuführen. Die Anwendung führt die Funktion aus und sendet das Ergebnis zurück; das Modell selbst führt nie Code aus.

[Chat Completions API](https://broadrouter.com/de/glossary/chat-completions-api/)

Die Chat Completions API ist der HTTP-Endpoint von OpenAI, POST /v1/chat/completions, der einen Modellnamen und eine Liste von Nachrichten mit Rollen entgegennimmt und die nächste Nachricht des Modells zurückgibt. Ihr Format für Anfrage und Antwort wurde zum gemeinsamen Standard, den OpenAI-kompatible Anbieter und SDKs übernehmen.

[Pay-as-you-go](https://broadrouter.com/de/glossary/pay-as-you-go/)

Pay-as-you-go ist ein Preismodell, bei dem Sie nur für tatsächliche Nutzung zahlen, gemessen pro Einheit wie Tokens, Anfragen oder Audiominuten, ohne Abonnement oder Mindestabnahme. Die meisten LLM-APIs rechnen so ab, aus einem vorausbezahlten Guthaben oder per regelmäßiger Rechnung.

[Rate Limit (Ratenbegrenzung)](https://broadrouter.com/de/glossary/rate-limit/)

Ein Rate Limit ist eine Obergrenze, die eine API festlegt, wie stark ein Client sie in einem Zeitfenster nutzen darf, etwa Anfragen pro Minute oder Tokens pro Minute. Anfragen über dem Limit werden abgelehnt, meist mit HTTP 429 Too Many Requests, bis die Nutzung wieder darunter liegt.

[Concurrency (Parallelität)](https://broadrouter.com/de/glossary/concurrency/)

Concurrency (Parallelität) ist die Zahl der Anfragen, die ein Client gleichzeitig offen hat. LLM-APIs begrenzen sie oft pro Schlüssel oder Plan, getrennt von den Anfragen pro Minute, weil jede offene Anfrage GPU-Kapazität belegt, bis ihre Antwort fertig ist.

[Kontextfenster (Context Window)](https://broadrouter.com/de/glossary/context-window/)

Das Kontextfenster ist die maximale Anzahl an Tokens, mit der ein Sprachmodell in einer einzelnen Anfrage arbeiten kann. Es umfasst Prompt, Gesprächsverlauf, Tool-Definitionen, Bilder und den erzeugten Output einschließlich Reasoning-Tokens. Was nicht hineinpasst, muss gekürzt, zusammengefasst oder auf mehrere Anfragen verteilt werden.

[LLM-Flatrate (Flat-rate LLM plan)](https://broadrouter.com/de/glossary/flat-rate-llm-plan/)

Eine LLM-Flatrate ist ein Plan, der für den Zugang zu einer Sprachmodell-API einen Festpreis pro Zeitraum, etwa pro Monat, berechnet statt pro Token. Solche Pläne begrenzen meist etwas anderes, etwa Parallelität, Geschwindigkeit, Modelle oder Nutzungsfenster. Die Limits zählen also so viel wie der Preis.

[Prepaid-Guthaben (Prepaid Credit)](https://broadrouter.com/de/glossary/prepaid-credit/)

Prepaid-Guthaben ist Geld, das vor der Nutzung auf ein API-Konto eingezahlt wird. Jede Anfrage zieht ihre Kosten vom Guthaben ab, und wenn es aufgebraucht ist, stoppen abgerechnete Anfragen, bis Sie aufladen. So sind die Ausgaben auf das eingezahlte Geld begrenzt.

## Häufige Fragen

### Was bewirkt custom\_openai=True in CrewAI?

Laut CrewAI-Quellcode erzwingt es den nativen OpenAI-Provider, egal wie der Modellname aussieht, und es verlangt base\_url, api\_base, OPENAI\_BASE\_URL oder OPENAI\_API\_BASE. Der Modell-String wird unverändert gesendet, broadnet/glm-5.3 kommt also so bei BroadNet an.

### Kann ich stattdessen model="openai/broadnet/glm-5.3" schreiben?

Ja. Mit einer eigenen base\_url leitet CrewAI ein Präfix openai/ an seinen nativen OpenAI-Client weiter und entfernt das Präfix, sodass BroadNet broadnet/glm-5.3 erhält. custom\_openai=True ist die klarere Variante.

### Warum bricht meine Crew mit EmptyLLMResponseError ab?

CrewAI wiederholt eine leere Antwort, also eine ohne Inhalt und ohne Tool Calls, einmal und löst diesen Fehler aus, wenn auch die Wiederholung leer bleibt. Bei den Reasoning-Modellen von BroadNet heißt das meist, dass das Reasoning das Output-Budget aufgebraucht hat. Erhöhen Sie max\_tokens.

### Welches BroadNet-Modell sollten CrewAI-Agenten nutzen?

GLM 5.3 für Agenten mit Tools, da BroadNet dafür Tools und strukturierte Ausgabe angibt. Qwen3.8 27B unterstützt ebenfalls Tools und nimmt Bilder an.

## Verwandte Anleitungen

-   [Pydantic AI mit BroadNet Inference nutzen (OpenAICompatibleProvider)](https://broadrouter.com/de/guides/pydantic-ai-openai-compatible/)
-   [OpenAI Python SDK mit BroadNet Inference nutzen](https://broadrouter.com/de/guides/openai-python-sdk/)
-   [Warum ein Reasoning-Modell eine leere Antwort liefert](https://broadrouter.com/de/guides/reasoning-tokens-empty-response/)
-   [Fehlercodes von BroadNet Inference: Wann ist ein Retry sinnvoll?](https://broadrouter.com/de/guides/errors-and-retries/)
-   [Alle Tools, die mit BroadNet Inference funktionieren (auf Englisch)](https://broadrouter.com/integrations/): SDKs, Coding-Agenten, Chat-Oberflächen und Automatisierungstools, jeweils mit den genauen Einstellungen

Testen Sie es mit Ihrem echten Workload. Neue Konten starten mit USD 5 Guthaben für Gemma und Transkription. DeepSeek, GLM und Qwen3.8 erfordern eine Aufladung.

[Loslegen](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-guides-crewai-custom-openai-endpoint&utm_content=page-cta) ·

**Quellen**

-   [CrewAI-Dokumentation, LLMs (OpenAI, eigener OpenAI-kompatibler Endpoint) (geprüft am 2026-11-15)](https://docs.crewai.com/en/concepts/llms)
-   [CrewAI-Quellcode, LLM-Routing für custom\_openai (llm.py) (geprüft am 2026-11-15)](https://github.com/crewAIInc/crewAI/blob/main/lib/crewai/src/crewai/llm.py)
-   [PyPI, crewai 1.15.41, Python 3.10 bis 3.13 (geprüft am 2026-11-15)](https://pypi.org/project/crewai/)
-   [API-Referenz von BroadNet Inference (geprüft am 2026-11-15) (auf Englisch)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-guides-crewai-custom-openai-endpoint&utm_content=sources)
