Pydantic AI là framework agent cho Python do đội ngũ Pydantic phát triển. Với một dịch vụ không có provider sẵn có, tài liệu của nó khuyên dùng OpenAICompatibleProvider với base_url của dịch vụ đó. BroadNet Inference phục vụ chat completions chuẩn tại https://inference.broadnet.ai/v1, nên đó là con đường cần đi. BroadRouter là website của chính BroadNet; bài này làm theo tài liệu Pydantic AI tính đến phiên bản 2.68.
Cài đặt
pip install "pydantic-ai-slim[openai]"
export BROADNET_API_KEY='your-broadnet-key'
Kết nối
import os
from pydantic_ai import Agent
from pydantic_ai.models.openai import OpenAIChatModel
from pydantic_ai.providers.openai_compatible import OpenAICompatibleProvider
model = OpenAIChatModel(
'broadnet/glm-5.3',
provider=OpenAICompatibleProvider(
'broadnet',
base_url='https://inference.broadnet.ai/v1',
api_key=os.environ['BROADNET_API_KEY'],
),
)
agent = Agent(model)
result = agent.run_sync('Give me three names for a Go linting tool.')
print(result.output)
Chạy đoạn này chính là phép thử: câu trả lời được in ra nghĩa là key, URL và model ID đều đúng.
- Đối số đầu tiên là model ID được gửi tới BroadNet. Hãy dùng chính xác, kèm tiền tố
broadnet/. - Tên provider (ở đây là
'broadnet') được ghi lại trên mọi phản hồi. Tài liệu Pydantic AI nói nên giữ tên này cố định, vì nó quyết định dữ liệu nào từ các phản hồi trước được gửi lại cho dịch vụ. - Giữ nguyên
OpenAIChatModel. Tài liệu Pydantic AI nói chỉ dùngOpenAIResponsesModelnếu dịch vụ triển khai Responses API. BroadNet không liệt kê API này.
Tool và đầu ra có cấu trúc
from pydantic import BaseModel
class City(BaseModel):
name: str
country: str
agent = Agent(model, output_type=City)
print(agent.run_sync('Which city hosts the Burj Khalifa?').output)
Hãy dùng broadnet/glm-5.3 hoặc broadnet/qwen3.8-27b cho tool và đầu ra có cấu trúc; tài liệu BroadNet chỉ ghi cả hai tính năng cho hai model này.
Khi nào cần đặt model profile
Pydantic AI chọn profile cho request dựa trên tên model. Nếu một tính năng bị bỏ qua hoặc bị từ chối, tài liệu của nó khuyên truyền OpenAIModelProfile của riêng bạn. Có hai thiết lập đáng biết khi dùng BroadNet:
from pydantic_ai.profiles.openai import OpenAIModelProfile
model = OpenAIChatModel(
'broadnet/glm-5.3',
provider=OpenAICompatibleProvider('broadnet', base_url='https://inference.broadnet.ai/v1', api_key=os.environ['BROADNET_API_KEY']),
profile=OpenAIModelProfile(
openai_chat_supports_max_completion_tokens=False, # send max_tokens, the field BroadNet documents
openai_supports_strict_tool_definition=False, # only if strict tool schemas are rejected
),
)
Truyền giới hạn đầu ra qua model settings, ví dụ agent.run_sync(prompt, model_settings={'max_tokens': 2000}). Trên DeepSeek V4.1 Flash, GLM 5.3 và Qwen3.8 27B, phần suy luận được tính vào giới hạn này.
Nên chọn model nào
| Agent | Model |
|---|---|
| Tool, đầu ra có cấu trúc | broadnet/glm-5.3 |
| Hình ảnh hoặc văn bản tiếng Ả Rập, có tool | broadnet/qwen3.8-27b |
| Tài liệu dài, gói giá cố định | broadnet/deepseek-v4.1-flash |
| Tín dụng ban đầu miễn phí | broadnet/gemma-4-26b-a4b (context 32.768 token) |
Xử lý sự cố
- 401. Key bị sai, hết hạn hoặc hết hạn mức.
- 404 hoặc không tìm thấy model.
base_urlphải kết thúc bằng/v1. Kiểm tra model ID. Các model trả phí cần nạp tiền; tín dụng $5 chỉ dùng được chobroadnet/gemma-4-26b-a4bvà hai model Transcribe. - Đầu ra rỗng hoặc vòng lặp thử lại do lỗi kiểm tra hợp lệ. Phần suy luận đã dùng hết ngân sách đầu ra. Hãy tăng
max_tokens. Vì sao câu trả lời trả về rỗng. - 400 với định nghĩa tool. Đặt
openai_supports_strict_tool_definition=Falsetrong profile, và dùng model mà BroadNet ghi hỗ trợ tool. - 429 khi chạy nhiều agent đồng thời. Key trả theo mức dùng cho phép 30 request mỗi phút và 4 request đang xử lý. Xem lỗi và thử lại.
