Pydantic AI ist ein Python-Agent-Framework des Pydantic-Teams. Für einen Dienst, für den es keinen eingebauten Provider hat, empfiehlt seine Dokumentation OpenAICompatibleProvider mit der base_url des Dienstes. BroadNet Inference bietet Standard-Chat-Completions unter https://inference.broadnet.ai/v1, also ist das der richtige Weg. BroadRouter ist die eigene Website von BroadNet; diese Anleitung folgt der Dokumentation von Pydantic AI mit Stand von Version 2.68.
Installieren
pip install "pydantic-ai-slim[openai]"
export BROADNET_API_KEY='your-broadnet-key'
Verbinden
import os
from pydantic_ai import Agent
from pydantic_ai.models.openai import OpenAIChatModel
from pydantic_ai.providers.openai_compatible import OpenAICompatibleProvider
model = OpenAIChatModel(
'broadnet/glm-5.3',
provider=OpenAICompatibleProvider(
'broadnet',
base_url='https://inference.broadnet.ai/v1',
api_key=os.environ['BROADNET_API_KEY'],
),
)
agent = Agent(model)
result = agent.run_sync('Give me three names for a Go linting tool.')
print(result.output)
Das Ausführen ist der Test: Eine ausgegebene Antwort bedeutet, dass Schlüssel, URL und Modell-ID stimmen.
- Das erste Argument ist die Modell-ID, die an BroadNet geht. Verwenden Sie sie exakt, mit dem Präfix
broadnet/. - Der Provider-Name (hier
'broadnet') wird bei jeder Antwort gespeichert. Laut Dokumentation von Pydantic AI sollte er stabil bleiben, weil er bestimmt, welche Daten aus früheren Antworten an den Dienst zurückgeschickt werden. - Bleiben Sie bei
OpenAIChatModel. Laut Dokumentation von Pydantic AI sollten SieOpenAIResponsesModelnur nutzen, wenn der Dienst die Responses API implementiert. BroadNet listet sie nicht.
Tools und strukturierte Ausgabe
from pydantic import BaseModel
class City(BaseModel):
name: str
country: str
agent = Agent(model, output_type=City)
print(agent.run_sync('Which city hosts the Burj Khalifa?').output)
Nehmen Sie broadnet/glm-5.3 oder broadnet/qwen3.8-27b für Tools und strukturierte Ausgabe; die Dokumentation von BroadNet listet beide Funktionen nur für diese zwei Modelle.
Wann Sie ein Model Profile setzen sollten
Pydantic AI wählt ein Request-Profil anhand des Modellnamens. Wird eine Funktion ignoriert oder abgelehnt, empfiehlt seine Dokumentation, ein eigenes OpenAIModelProfile zu übergeben. Zwei Einstellungen sind für BroadNet wissenswert:
from pydantic_ai.profiles.openai import OpenAIModelProfile
model = OpenAIChatModel(
'broadnet/glm-5.3',
provider=OpenAICompatibleProvider('broadnet', base_url='https://inference.broadnet.ai/v1', api_key=os.environ['BROADNET_API_KEY']),
profile=OpenAIModelProfile(
openai_chat_supports_max_completion_tokens=False, # send max_tokens, the field BroadNet documents
openai_supports_strict_tool_definition=False, # only if strict tool schemas are rejected
),
)
Übergeben Sie das Ausgabelimit über die Model Settings, zum Beispiel agent.run_sync(prompt, model_settings={'max_tokens': 2000}). Bei DeepSeek V4.1 Flash, GLM 5.3 und Qwen3.8 27B zählt Reasoning dazu.
Welches Modell passt
| Agent | Modell |
|---|---|
| Tools, strukturierte Ausgabe | broadnet/glm-5.3 |
| Bilder oder arabischer Text, mit Tools | broadnet/qwen3.8-27b |
| Lange Dokumente, Flatrate-Plan | broadnet/deepseek-v4.1-flash |
| Kostenloses Startguthaben | broadnet/gemma-4-26b-a4b (32.768 Token Kontext) |
Fehlerbehebung
- 401. Der Schlüssel ist falsch, abgelaufen oder das Kontingent ist aufgebraucht.
- 404 oder Modell nicht gefunden.
base_urlmuss auf/v1enden. Prüfen Sie die Modell-ID. Kostenpflichtige Modelle erfordern eine Aufladung; das Guthaben von $5 deckt nurbroadnet/gemma-4-26b-a4bund die beiden Transcribe-Modelle ab. - Leere Ausgabe oder eine Schleife aus Validierungs-Retries. Reasoning hat das Ausgabebudget verbraucht. Erhöhen Sie
max_tokens. Warum Antworten leer zurückkommen. - 400 bei Tool-Definitionen. Setzen Sie
openai_supports_strict_tool_definition=Falseim Profil und nehmen Sie ein Modell, das BroadNet mit Tools listet. - 429, wenn Sie Agents gleichzeitig ausführen. Ein Pay-as-you-go-Schlüssel erlaubt 30 Anfragen pro Minute und 4 gleichzeitig laufende. Siehe Fehler und Retries.
