Pydantic AI ialah rangka kerja ejen Python daripada pasukan Pydantic. Bagi perkhidmatan yang tiada penyedia terbina dalam, dokumentasinya menyuruh anda menggunakan OpenAICompatibleProvider dengan base_url perkhidmatan itu. BroadNet Inference menyediakan chat completions yang standard di https://inference.broadnet.ai/v1, jadi itulah laluannya. BroadRouter ialah laman web BroadNet sendiri; panduan ini mengikut dokumentasi Pydantic AI setakat versi 2.68.
Pasang
pip install "pydantic-ai-slim[openai]"
export BROADNET_API_KEY='your-broadnet-key'
Sambung
import os
from pydantic_ai import Agent
from pydantic_ai.models.openai import OpenAIChatModel
from pydantic_ai.providers.openai_compatible import OpenAICompatibleProvider
model = OpenAIChatModel(
'broadnet/glm-5.3',
provider=OpenAICompatibleProvider(
'broadnet',
base_url='https://inference.broadnet.ai/v1',
api_key=os.environ['BROADNET_API_KEY'],
),
)
agent = Agent(model)
result = agent.run_sync('Give me three names for a Go linting tool.')
print(result.output)
Menjalankan kod ini ialah ujiannya: jawapan yang dicetak bermakna kunci, URL dan ID model adalah betul.
- Argumen pertama ialah ID model yang dihantar ke BroadNet. Gunakannya dengan tepat, termasuk awalan
broadnet/. - Nama penyedia (
'broadnet'di sini) direkodkan pada setiap respons. Dokumentasi Pydantic AI menyuruh anda mengekalkannya stabil, kerana ia menentukan data mana daripada respons terdahulu yang dihantar semula ke perkhidmatan. - Kekal pada
OpenAIChatModel. Dokumentasi Pydantic AI menyatakanOpenAIResponsesModelhanya patut digunakan jika perkhidmatan itu melaksanakan Responses API. BroadNet tidak menyenaraikannya.
Tools dan output berstruktur
from pydantic import BaseModel
class City(BaseModel):
name: str
country: str
agent = Agent(model, output_type=City)
print(agent.run_sync('Which city hosts the Burj Khalifa?').output)
Gunakan broadnet/glm-5.3 atau broadnet/qwen3.8-27b untuk tools dan output berstruktur; dokumentasi BroadNet menyenaraikan kedua-dua ciri untuk dua model ini sahaja.
Bila perlu menetapkan model profile
Pydantic AI memilih profil permintaan berdasarkan nama model. Jika sesuatu ciri diabaikan atau ditolak, dokumentasinya menyuruh anda menghantar OpenAIModelProfile sendiri. Dua tetapan patut diketahui untuk BroadNet:
from pydantic_ai.profiles.openai import OpenAIModelProfile
model = OpenAIChatModel(
'broadnet/glm-5.3',
provider=OpenAICompatibleProvider('broadnet', base_url='https://inference.broadnet.ai/v1', api_key=os.environ['BROADNET_API_KEY']),
profile=OpenAIModelProfile(
openai_chat_supports_max_completion_tokens=False, # send max_tokens, the field BroadNet documents
openai_supports_strict_tool_definition=False, # only if strict tool schemas are rejected
),
)
Hantar had output melalui tetapan model, contohnya agent.run_sync(prompt, model_settings={'max_tokens': 2000}). Penaakulan dikira dalam had itu pada DeepSeek V4.1 Flash, GLM 5.3 dan Qwen3.8 27B.
Model mana yang patut dipilih
| Ejen | Model |
|---|---|
| Tools, output berstruktur | broadnet/glm-5.3 |
| Imej atau teks Arab, dengan tools | broadnet/qwen3.8-27b |
| Dokumen panjang, pelan harga tetap | broadnet/deepseek-v4.1-flash |
| Kredit permulaan percuma | broadnet/gemma-4-26b-a4b (konteks 32,768 token) |
Penyelesaian masalah
- 401. Kunci salah, tamat tempoh atau kehabisan elaun.
- 404 atau model tidak dijumpai.
base_urlmesti berakhir dengan/v1. Semak ID model. Model berbayar memerlukan tambah nilai; kredit $5 hanya meliputibroadnet/gemma-4-26b-a4bdan dua model Transcribe. - Output kosong atau gelung cuba semula validation. Penaakulan telah menggunakan bajet output. Naikkan
max_tokens. Mengapa jawapan kosong. - 400 pada definisi tool. Tetapkan
openai_supports_strict_tool_definition=Falsedalam profil, dan gunakan model yang disenaraikan oleh BroadNet dengan tools. - 429 apabila anda menjalankan ejen serentak. Kunci bayar ikut guna membenarkan 30 permintaan seminit dan 4 serentak. Lihat ralat dan cuba semula.
