Pydantic AI es un framework de agentes para Python creado por el equipo de Pydantic. Para un servicio sin proveedor integrado, su documentación indica usar OpenAICompatibleProvider con el base_url del servicio. BroadNet Inference ofrece chat completions estándar en https://inference.broadnet.ai/v1, así que ese es el camino. BroadRouter es el sitio de la propia BroadNet; esta guía sigue la documentación de Pydantic AI según la versión 2.68.
Instalación
pip install "pydantic-ai-slim[openai]"
export BROADNET_API_KEY='your-broadnet-key'
Conexión
import os
from pydantic_ai import Agent
from pydantic_ai.models.openai import OpenAIChatModel
from pydantic_ai.providers.openai_compatible import OpenAICompatibleProvider
model = OpenAIChatModel(
'broadnet/glm-5.3',
provider=OpenAICompatibleProvider(
'broadnet',
base_url='https://inference.broadnet.ai/v1',
api_key=os.environ['BROADNET_API_KEY'],
),
)
agent = Agent(model)
result = agent.run_sync('Give me three names for a Go linting tool.')
print(result.output)
Ejecutar esto es la prueba: si se imprime una respuesta, la clave, la URL y el ID del modelo son correctos.
- El primer argumento es el ID del modelo que se envía a BroadNet. Úselo tal cual, con el prefijo
broadnet/. - El nombre del proveedor (aquí
'broadnet') queda registrado en cada respuesta. La documentación de Pydantic AI pide mantenerlo estable, porque decide qué datos de respuestas anteriores se reenvían al servicio. - Quédese en
OpenAIChatModel. La documentación de Pydantic AI indica usarOpenAIResponsesModelsolo si el servicio implementa la Responses API. BroadNet no la ofrece.
Herramientas y salida estructurada
from pydantic import BaseModel
class City(BaseModel):
name: str
country: str
agent = Agent(model, output_type=City)
print(agent.run_sync('Which city hosts the Burj Khalifa?').output)
Use broadnet/glm-5.3 o broadnet/qwen3.8-27b para herramientas y salida estructurada; la documentación de BroadNet indica ambas funciones solo para estos dos modelos.
Cuándo definir un model profile
Pydantic AI elige un perfil de solicitud según el nombre del modelo. Si una función se ignora o se rechaza, su documentación indica pasar su propio OpenAIModelProfile. Conviene conocer dos ajustes para BroadNet:
from pydantic_ai.profiles.openai import OpenAIModelProfile
model = OpenAIChatModel(
'broadnet/glm-5.3',
provider=OpenAICompatibleProvider('broadnet', base_url='https://inference.broadnet.ai/v1', api_key=os.environ['BROADNET_API_KEY']),
profile=OpenAIModelProfile(
openai_chat_supports_max_completion_tokens=False, # send max_tokens, the field BroadNet documents
openai_supports_strict_tool_definition=False, # only if strict tool schemas are rejected
),
)
Pase el límite de salida mediante la configuración del modelo, por ejemplo agent.run_sync(prompt, model_settings={'max_tokens': 2000}). En DeepSeek V4.1 Flash, GLM 5.3 y Qwen3.8 27B, el razonamiento cuenta para ese límite.
Qué modelo elegir
| Agente | Modelo |
|---|---|
| Herramientas, salida estructurada | broadnet/glm-5.3 |
| Imágenes o texto en árabe, con herramientas | broadnet/qwen3.8-27b |
| Documentos largos, plan de precio fijo | broadnet/deepseek-v4.1-flash |
| Crédito inicial gratuito | broadnet/gemma-4-26b-a4b (contexto de 32,768 tokens) |
Solución de problemas
- 401. La clave es incorrecta, caducó o se quedó sin saldo.
- 404 o modelo no encontrado.
base_urldebe terminar en/v1. Revise el ID del modelo. Los modelos de pago requieren una recarga; el crédito de $5 cubre solobroadnet/gemma-4-26b-a4by los dos modelos Transcribe. - Salida vacía o un bucle de reintentos por validación. El razonamiento consumió el presupuesto de salida. Aumente
max_tokens. Por qué las respuestas llegan vacías. - 400 en las definiciones de herramientas. Defina
openai_supports_strict_tool_definition=Falseen el perfil y use un modelo para el que BroadNet indique herramientas. - 429 al ejecutar agentes en paralelo. Una clave de pago por uso permite 30 solicitudes por minuto y 4 en curso. Consulte errores y reintentos.
