BroadRouter

Pydantic AI mit BroadNet Inference nutzen (OpenAICompatibleProvider)

Aktualisiert

Installieren Sie pydantic-ai-slim[openai] und bauen Sie OpenAIChatModel mit einer BroadNet-Modell-ID wie broadnet/glm-5.3 und einem OpenAICompatibleProvider mit der Basis-URL https://inference.broadnet.ai/v1 und Ihrem BroadNet-Schlüssel als API-Key. Übergeben Sie das Modell an Agent. Nehmen Sie OpenAIChatModel, nicht das Responses-Modell, denn BroadNet bietet Chat Completions. Laut Pydantic-AI-Dokumentation ist OpenAIProvider mit base_url für OpenAI selbst gedacht.

Pydantic AI ist ein Python-Agent-Framework des Pydantic-Teams. Für einen Dienst, für den es keinen eingebauten Provider hat, empfiehlt seine Dokumentation OpenAICompatibleProvider mit der base_url des Dienstes. BroadNet Inference bietet Standard-Chat-Completions unter https://inference.broadnet.ai/v1, also ist das der richtige Weg. BroadRouter ist die eigene Website von BroadNet; diese Anleitung folgt der Dokumentation von Pydantic AI mit Stand von Version 2.68.

Installieren

pip install "pydantic-ai-slim[openai]"
export BROADNET_API_KEY='your-broadnet-key'

Verbinden

import os
from pydantic_ai import Agent
from pydantic_ai.models.openai import OpenAIChatModel
from pydantic_ai.providers.openai_compatible import OpenAICompatibleProvider

model = OpenAIChatModel(
    'broadnet/glm-5.3',
    provider=OpenAICompatibleProvider(
        'broadnet',
        base_url='https://inference.broadnet.ai/v1',
        api_key=os.environ['BROADNET_API_KEY'],
    ),
)

agent = Agent(model)
result = agent.run_sync('Give me three names for a Go linting tool.')
print(result.output)

Das Ausführen ist der Test: Eine ausgegebene Antwort bedeutet, dass Schlüssel, URL und Modell-ID stimmen.

  • Das erste Argument ist die Modell-ID, die an BroadNet geht. Verwenden Sie sie exakt, mit dem Präfix broadnet/.
  • Der Provider-Name (hier 'broadnet') wird bei jeder Antwort gespeichert. Laut Dokumentation von Pydantic AI sollte er stabil bleiben, weil er bestimmt, welche Daten aus früheren Antworten an den Dienst zurückgeschickt werden.
  • Bleiben Sie bei OpenAIChatModel. Laut Dokumentation von Pydantic AI sollten Sie OpenAIResponsesModel nur nutzen, wenn der Dienst die Responses API implementiert. BroadNet listet sie nicht.

Tools und strukturierte Ausgabe

from pydantic import BaseModel

class City(BaseModel):
    name: str
    country: str

agent = Agent(model, output_type=City)
print(agent.run_sync('Which city hosts the Burj Khalifa?').output)

Nehmen Sie broadnet/glm-5.3 oder broadnet/qwen3.8-27b für Tools und strukturierte Ausgabe; die Dokumentation von BroadNet listet beide Funktionen nur für diese zwei Modelle.

Wann Sie ein Model Profile setzen sollten

Pydantic AI wählt ein Request-Profil anhand des Modellnamens. Wird eine Funktion ignoriert oder abgelehnt, empfiehlt seine Dokumentation, ein eigenes OpenAIModelProfile zu übergeben. Zwei Einstellungen sind für BroadNet wissenswert:

from pydantic_ai.profiles.openai import OpenAIModelProfile

model = OpenAIChatModel(
    'broadnet/glm-5.3',
    provider=OpenAICompatibleProvider('broadnet', base_url='https://inference.broadnet.ai/v1', api_key=os.environ['BROADNET_API_KEY']),
    profile=OpenAIModelProfile(
        openai_chat_supports_max_completion_tokens=False,  # send max_tokens, the field BroadNet documents
        openai_supports_strict_tool_definition=False,      # only if strict tool schemas are rejected
    ),
)

Übergeben Sie das Ausgabelimit über die Model Settings, zum Beispiel agent.run_sync(prompt, model_settings={'max_tokens': 2000}). Bei DeepSeek V4.1 Flash, GLM 5.3 und Qwen3.8 27B zählt Reasoning dazu.

Welches Modell passt

Agent Modell
Tools, strukturierte Ausgabe broadnet/glm-5.3
Bilder oder arabischer Text, mit Tools broadnet/qwen3.8-27b
Lange Dokumente, Flatrate-Plan broadnet/deepseek-v4.1-flash
Kostenloses Startguthaben broadnet/gemma-4-26b-a4b (32.768 Token Kontext)

Preise aller Modelle.

Fehlerbehebung

  • 401. Der Schlüssel ist falsch, abgelaufen oder das Kontingent ist aufgebraucht.
  • 404 oder Modell nicht gefunden. base_url muss auf /v1 enden. Prüfen Sie die Modell-ID. Kostenpflichtige Modelle erfordern eine Aufladung; das Guthaben von $5 deckt nur broadnet/gemma-4-26b-a4b und die beiden Transcribe-Modelle ab.
  • Leere Ausgabe oder eine Schleife aus Validierungs-Retries. Reasoning hat das Ausgabebudget verbraucht. Erhöhen Sie max_tokens. Warum Antworten leer zurückkommen.
  • 400 bei Tool-Definitionen. Setzen Sie openai_supports_strict_tool_definition=False im Profil und nehmen Sie ein Modell, das BroadNet mit Tools listet.
  • 429, wenn Sie Agents gleichzeitig ausführen. Ein Pay-as-you-go-Schlüssel erlaubt 30 Anfragen pro Minute und 4 gleichzeitig laufende. Siehe Fehler und Retries.

Häufige Fragen

Sollte ich für BroadNet OpenAIProvider oder OpenAICompatibleProvider verwenden?

OpenAICompatibleProvider. Laut Dokumentation von Pydantic AI akzeptiert zwar auch OpenAIProvider eine base_url, er ist aber für OpenAI selbst oder einen transparenten Proxy dorthin gedacht und setzt die Modelle und Funktionen von OpenAI voraus.

Warum OpenAIChatModel und nicht das Standard-OpenAI-Modell?

Das Standard-OpenAI-Modell von Pydantic AI nutzt die Responses API. BroadNet bietet Chat Completions unter /v1/chat/completions, und genau das ruft OpenAIChatModel auf.

Funktionieren Tools und strukturierte Ausgabe?

Bei den Modellen, die BroadNet mit Tools und strukturierter Ausgabe listet, GLM 5.3 und Qwen3.8 27B, ja. Für DeepSeek V4.1 Flash listet die Dokumentation von BroadNet keine Tools, testen Sie Agents mit Tools darauf also zuerst.

Wie verhindere ich, dass Pydantic AI max_completion_tokens sendet?

Übergeben Sie profile=OpenAIModelProfile(openai_chat_supports_max_completion_tokens=False) an OpenAIChatModel. Pydantic AI sendet dann das ältere Feld max_tokens, das die API-Referenz von BroadNet beschreibt.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen