Pydantic AI — фреймворк для агентов на Python от команды Pydantic. Для сервиса, у которого нет встроенного провайдера, документация советует использовать OpenAICompatibleProvider с base_url этого сервиса. BroadNet Inference обслуживает стандартные chat completions по адресу https://inference.broadnet.ai/v1, так что путь именно такой. BroadRouter — собственный сайт BroadNet; руководство следует документации Pydantic AI для версии 2.68.
Установка
pip install "pydantic-ai-slim[openai]"
export BROADNET_API_KEY='your-broadnet-key'
Подключение
В примере агента просят придумать три названия для линтера на Go.
import os
from pydantic_ai import Agent
from pydantic_ai.models.openai import OpenAIChatModel
from pydantic_ai.providers.openai_compatible import OpenAICompatibleProvider
model = OpenAIChatModel(
'broadnet/glm-5.3',
provider=OpenAICompatibleProvider(
'broadnet',
base_url='https://inference.broadnet.ai/v1',
api_key=os.environ['BROADNET_API_KEY'],
),
)
agent = Agent(model)
result = agent.run_sync('Give me three names for a Go linting tool.')
print(result.output)
Запуск и есть проверка: если ответ напечатался, ключ, URL и ID модели указаны верно.
- Первый аргумент — ID модели, который отправляется в BroadNet. Указывайте его точно, с префиксом
broadnet/. - Имя провайдера (здесь
'broadnet') записывается в каждый ответ. Документация Pydantic AI советует не менять его, потому что от него зависит, какие данные из прошлых ответов отправляются обратно в сервис. - Оставайтесь на
OpenAIChatModel. Документация Pydantic AI советует использоватьOpenAIResponsesModel, только если сервис реализует Responses API. В списке BroadNet его нет.
Инструменты и структурированный вывод
Здесь агент должен вернуть объект City — город, где стоит Бурдж-Халифа, и его страну.
from pydantic import BaseModel
class City(BaseModel):
name: str
country: str
agent = Agent(model, output_type=City)
print(agent.run_sync('Which city hosts the Burj Khalifa?').output)
Для инструментов и структурированного вывода используйте broadnet/glm-5.3 или broadnet/qwen3.8-27b: документация BroadNet заявляет обе возможности только для этих двух моделей.
Когда задавать профиль модели
Pydantic AI выбирает профиль запроса по имени модели. Если какая-то возможность игнорируется или отклоняется, документация советует передать свой OpenAIModelProfile. Для BroadNet полезно знать две настройки (комментарии в коде: первая отправляет max_tokens — поле, которое документирует BroadNet; вторая нужна, только если строгие схемы инструментов отклоняются):
from pydantic_ai.profiles.openai import OpenAIModelProfile
model = OpenAIChatModel(
'broadnet/glm-5.3',
provider=OpenAICompatibleProvider('broadnet', base_url='https://inference.broadnet.ai/v1', api_key=os.environ['BROADNET_API_KEY']),
profile=OpenAIModelProfile(
openai_chat_supports_max_completion_tokens=False, # send max_tokens, the field BroadNet documents
openai_supports_strict_tool_definition=False, # only if strict tool schemas are rejected
),
)
Лимит выхода передавайте через настройки модели, например agent.run_sync(prompt, model_settings={'max_tokens': 2000}). На DeepSeek V4.1 Flash, GLM 5.3 и Qwen3.8 27B в него входят рассуждения.
Какую модель выбрать
| Агент | Модель |
|---|---|
| Инструменты, структурированный вывод | broadnet/glm-5.3 |
| Изображения или арабский текст, с инструментами | broadnet/qwen3.8-27b |
| Длинные документы, тариф с фиксированной ценой | broadnet/deepseek-v4.1-flash |
| Бесплатный стартовый грант | broadnet/gemma-4-26b-a4b (контекст 32 768 токенов) |
Решение проблем
- 401. Ключ неверен, истёк или исчерпан лимит.
- 404 или модель не найдена.
base_urlдолжен заканчиваться на/v1. Проверьте ID модели. Для платных моделей нужно пополнить баланс; грант $5 покрывает толькоbroadnet/gemma-4-26b-a4b. - Пустой вывод или цикл повторных попыток валидации. Рассуждения израсходовали бюджет на выход. Увеличьте
max_tokens. Почему ответы приходят пустыми. - 400 на определениях инструментов. Задайте в профиле
openai_supports_strict_tool_definition=Falseи используйте модель, для которой BroadNet заявляет инструменты. - 429 при одновременном запуске агентов. Ключ с оплатой по факту допускает 30 запросов в минуту и 4 одновременно. См. ошибки и повторные запросы.
