---
title: "LlamaIndex OpenAILike mit eigener api_base | BroadRouter"
description: "LlamaIndex über die Klasse OpenAILike mit BroadNet Inference verbinden und api_base, context_window, is_chat_model und is_function_calling_model richtig setzen."
url: https://broadrouter.com/de/guides/llamaindex-openailike/
lang: de
updated: 2026-11-16
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Mit KI-Unterstützung aus dem Englischen übersetzt. [Englisches Original lesen](https://broadrouter.com/guides/llamaindex-openailike/) (aktualisiert am 2026-11-16).

# LlamaIndex über OpenAILike mit BroadNet Inference nutzen

Aktualisiert 2026-11-16

Installieren Sie llama-index-llms-openai-like und erstellen Sie OpenAILike mit model auf einer BroadNet-ID wie broadnet/glm-5.3, api\_base auf https://inference.broadnet.ai/v1, Ihrem BroadNet-Schlüssel, context\_window mit dem echten Kontext des Modells, is\_chat\_model=True und is\_function\_calling\_model=True nur für GLM 5.3 oder Qwen3.8 27B. Setzen Sie es als Settings.llm, um es überall zu nutzen.

LlamaIndex ist ein Python-Framework für RAG und Agenten. Für jede OpenAI-kompatible API, die nicht OpenAI selbst ist, bringt es die Klasse `OpenAILike` mit. BroadNet Inference stellt unter `https://inference.broadnet.ai/v1` standardmäßige Chat Completions bereit. BroadRouter ist die Website von BroadNet selbst; die Anleitung folgt der LlamaIndex-API-Referenz für `llama-index-llms-openai-like` 0.9.0.

## Installation

```bash
pip install llama-index-llms-openai-like
export BROADNET_API_KEY='your-broadnet-key'
```

## Verbinden und testen

```python
import os
from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    model="broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    context_window=1048576,
    is_chat_model=True,
    is_function_calling_model=True,
    max_tokens=2000,  # reasoning counts toward this limit
)

print(llm.complete("Name three uses for a vector index."))
```

Wird eine Antwort ausgegeben, funktionieren Schlüssel, URL und Modell-ID.

## Die vier wichtigen Einstellungen

| Parameter | Setzen auf | Standard, wenn nicht gesetzt |
| --- | --- | --- |
| `is_chat_model` | `True` | `False`, das den alten Completions-Endpoint nutzt; BroadNet stellt Chat Completions bereit |
| `context_window` | den echten Kontext des Modells | 3.900 Token |
| `is_function_calling_model` | `True` nur für GLM 5.3 oder Qwen3.8 27B | `False` |
| `max_tokens` | 1.000 oder mehr | None (wird nicht gesendet, der Server entscheidet) |

Am wichtigsten ist `is_chat_model`. Laut API-Referenz „controls whether the model uses the chat or completion endpoint“ (Übersetzung: steuert, ob das Modell den Chat- oder den Completion-Endpoint nutzt), Standard ist false. Die BroadNet-Dokumentation nennt `/v1/chat/completions`, nicht den älteren Completions-Endpoint.

## In der ganzen App nutzen

```python
from llama_index.core import Settings

Settings.llm = llm
```

Query Engines, Chat Engines und Agenten nutzen dann BroadNet. Embeddings sind davon getrennt: Die API-Referenz von BroadNet nennt keinen Embeddings-Endpoint, behalten Sie fürs Indexieren also ein anderes Embedding-Modell.

## Kontextfenster

| Modell | ID | `context_window` | Tools |
| --- | --- | --- | --- |
| GLM 5.3 | `broadnet/glm-5.3` | 1048576 | Ja |
| DeepSeek V4.1 Flash | `broadnet/deepseek-v4.1-flash` | 1048576 | Nicht genannt |
| Qwen3.8 27B | `broadnet/qwen3.8-27b` | 262144 | Ja |
| BroadNet Gemma 4 VL 26B | `broadnet/gemma-4-26b-a4b` | 32768 | Nicht genannt |

Mit einem Kontext von 1M Token kann eine Query Engine pro Aufruf deutlich mehr abgerufene Chunks übergeben. Das ist nicht immer besser; siehe [Long Context vs. RAG](https://broadrouter.com/de/blog/long-context-vs-rag/).

## Fehlerbehebung

-   **401.** Der Schlüssel ist falsch, abgelaufen oder sein Kontingent aufgebraucht.
-   **404.** `api_base` muss auf `/v1` enden, und `is_chat_model` muss `True` sein. Prüfen Sie danach die Modell-ID. Kostenpflichtige Modelle brauchen eine Aufladung; das Guthaben von $5 deckt nur `broadnet/gemma-4-26b-a4b` und die beiden Transcribe-Modelle ab.
-   **Leere Antworten.** Das Reasoning hat das Ausgabebudget verbraucht. Erhöhen Sie `max_tokens`. [Warum Antworten leer zurückkommen](https://broadrouter.com/de/guides/reasoning-tokens-empty-response/).
-   **Der Agent ruft nie Tools auf.** Setzen Sie `is_function_calling_model=True` und nutzen Sie `broadnet/glm-5.3` oder `broadnet/qwen3.8-27b`.
-   **429 beim Ingestion-Lauf oder bei Batch-Abfragen.** Ein Pay-as-you-go-Schlüssel erlaubt 30 Anfragen pro Minute und 4 gleichzeitig laufende. OpenAILike wiederholt standardmäßig 3-mal (`max_retries`). Siehe [Fehlercodes und Retries](https://broadrouter.com/de/guides/errors-and-retries/).

## Begriffe in dieser Anleitung

[Tool Calling (Function Calling)](https://broadrouter.com/de/glossary/tool-calling/)

Tool Calling, auch Function Calling genannt, ist eine Funktion von LLM-APIs, bei der das Modell eine strukturierte Anfrage zurückgibt, eine vom Entwickler definierte Funktion mit JSON-Argumenten auszuführen. Die Anwendung führt die Funktion aus und sendet das Ergebnis zurück; das Modell selbst führt nie Code aus.

[Chat Completions API](https://broadrouter.com/de/glossary/chat-completions-api/)

Die Chat Completions API ist der HTTP-Endpoint von OpenAI, POST /v1/chat/completions, der einen Modellnamen und eine Liste von Nachrichten mit Rollen entgegennimmt und die nächste Nachricht des Modells zurückgibt. Ihr Format für Anfrage und Antwort wurde zum gemeinsamen Standard, den OpenAI-kompatible Anbieter und SDKs übernehmen.

[Embeddings](https://broadrouter.com/de/glossary/embeddings/)

Embeddings sind Listen von Gleitkommazahlen (Vektoren), die ein Modell erzeugt, um einen Text, ein Bild oder einen anderen Input darzustellen. Inputs mit ähnlicher Bedeutung erhalten nah beieinanderliegende Vektoren; über den Abstand lassen sich Suchergebnisse ranken, Dokumente clustern oder verwandte Elemente finden.

[Pay-as-you-go](https://broadrouter.com/de/glossary/pay-as-you-go/)

Pay-as-you-go ist ein Preismodell, bei dem Sie nur für tatsächliche Nutzung zahlen, gemessen pro Einheit wie Tokens, Anfragen oder Audiominuten, ohne Abonnement oder Mindestabnahme. Die meisten LLM-APIs rechnen so ab, aus einem vorausbezahlten Guthaben oder per regelmäßiger Rechnung.

[RAG (Retrieval-Augmented Generation)](https://broadrouter.com/de/glossary/rag/)

RAG (Retrieval-Augmented Generation) ist ein Muster, bei dem eine Anwendung zuerst zur Frage passende Abschnitte aus einem externen Speicher abruft, etwa einem Such- oder Vektorindex, und sie dann in den Prompt einfügt, damit ein Sprachmodell aus diesem Text antwortet statt nur aus seinem Gedächtnis.

[Rate Limit (Ratenbegrenzung)](https://broadrouter.com/de/glossary/rate-limit/)

Ein Rate Limit ist eine Obergrenze, die eine API festlegt, wie stark ein Client sie in einem Zeitfenster nutzen darf, etwa Anfragen pro Minute oder Tokens pro Minute. Anfragen über dem Limit werden abgelehnt, meist mit HTTP 429 Too Many Requests, bis die Nutzung wieder darunter liegt.

[Token](https://broadrouter.com/de/glossary/token/)

Ein Token ist die Texteinheit, die ein Sprachmodell liest und schreibt: ein Wort, ein Wortteil, ein Satzzeichen oder eine Bytefolge, die der Tokenizer des Modells erzeugt. LLM-APIs zählen, begrenzen und berechnen die Nutzung meist in Tokens.

[Concurrency (Parallelität)](https://broadrouter.com/de/glossary/concurrency/)

Concurrency (Parallelität) ist die Zahl der Anfragen, die ein Client gleichzeitig offen hat. LLM-APIs begrenzen sie oft pro Schlüssel oder Plan, getrennt von den Anfragen pro Minute, weil jede offene Anfrage GPU-Kapazität belegt, bis ihre Antwort fertig ist.

## Häufige Fragen

### Warum nicht einfach die OpenAI-Klasse von LlamaIndex mit anderer api\_base?

Die OpenAI-Seite von LlamaIndex selbst empfiehlt die Integration OpenAILike für jede OpenAI-kompatible API, die nicht die offizielle OpenAI-API ist. Mit OpenAILike geben Sie außerdem Kontextfenster und Tool-Unterstützung selbst an.

### Was passiert, wenn ich context\_window weglasse?

OpenAILike nimmt dann standardmäßig 3.900 Token an, und LlamaIndex kürzt Prompts und abgerufene Chunks weit unter das, was die BroadNet-Modelle verarbeiten. Setzen Sie 1048576 für GLM 5.3 und DeepSeek V4.1 Flash oder 262144 für Qwen3.8 27B.

### Kann ein FunctionAgent von LlamaIndex BroadNet nutzen?

Ja, mit is\_function\_calling\_model=True auf einem Modell, für das BroadNet Tools nennt: GLM 5.3 oder Qwen3.8 27B. Für DeepSeek V4.1 Flash, bei dem die BroadNet-Dokumentation kein Tool Calling nennt, lassen Sie es auf False.

### Bietet BroadNet Embeddings für einen LlamaIndex-Index?

Die API-Referenz von BroadNet nennt Chat Completions und Audio-Transkription, keine Embeddings. Nutzen Sie für den Index ein separates Embedding-Modell und BroadNet für das LLM.

## Verwandte Anleitungen

-   [LangChain mit BroadNet Inference nutzen](https://broadrouter.com/de/guides/langchain-openai-base-url/)
-   [Pydantic AI mit BroadNet Inference nutzen (OpenAICompatibleProvider)](https://broadrouter.com/de/guides/pydantic-ai-openai-compatible/)
-   [OpenAI Python SDK mit BroadNet Inference nutzen](https://broadrouter.com/de/guides/openai-python-sdk/)
-   [Warum ein Reasoning-Modell eine leere Antwort liefert](https://broadrouter.com/de/guides/reasoning-tokens-empty-response/)
-   [Alle Tools, die mit BroadNet Inference funktionieren (auf Englisch)](https://broadrouter.com/integrations/): SDKs, Coding-Agenten, Chat-Oberflächen und Automatisierungstools, jeweils mit den genauen Einstellungen

Testen Sie es mit Ihrem echten Workload. Neue Konten starten mit USD 5 Guthaben für Gemma und Transkription. DeepSeek, GLM und Qwen3.8 erfordern eine Aufladung.

[Loslegen](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-guides-llamaindex-openailike&utm_content=page-cta) ·

**Quellen**

-   [LlamaIndex-API-Referenz, OpenAILike (geprüft am 2026-11-15)](https://developers.llamaindex.ai/python/framework-api-reference/llms/openai_like/)
-   [LlamaIndex-Dokumentation, OpenAILike-Beispiel (Grok-Integrationsseite) (geprüft am 2026-11-15)](https://developers.llamaindex.ai/python/framework/integrations/llm/grok/)
-   [LlamaIndex-Dokumentation, Seite zum OpenAI-LLM (verweist für kompatible APIs auf OpenAILike) (geprüft am 2026-11-15)](https://developers.llamaindex.ai/python/framework/integrations/llm/openai/)
-   [PyPI, llama-index-llms-openai-like 0.9.0, Python 3.11+ (geprüft am 2026-11-15)](https://pypi.org/project/llama-index-llms-openai-like/)
-   [LlamaIndex-Quellcode, Standardwert von max\_tokens und Payload im OpenAI-LLM (geprüft am 2026-11-16)](https://github.com/run-llama/llama_index/blob/main/llama-index-integrations/llms/llama-index-llms-openai/llama_index/llms/openai/base.py)
-   [API-Referenz von BroadNet Inference (geprüft am 2026-11-15) (auf Englisch)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-guides-llamaindex-openailike&utm_content=sources)
