BroadRouter

Pydantic AI con BroadNet Inference (OpenAICompatibleProvider)

Actualizado

Instale pydantic-ai-slim[openai] y cree un OpenAIChatModel con un ID de modelo de BroadNet, como broadnet/glm-5.3, y un OpenAICompatibleProvider con base URL https://inference.broadnet.ai/v1 y su clave de BroadNet como API key. Pase el modelo a Agent. Use OpenAIChatModel, no el modelo de Responses, porque BroadNet ofrece chat completions. La documentación de Pydantic AI indica que OpenAIProvider con base_url es para la propia OpenAI.

Pydantic AI es un framework de agentes para Python creado por el equipo de Pydantic. Para un servicio sin proveedor integrado, su documentación indica usar OpenAICompatibleProvider con el base_url del servicio. BroadNet Inference ofrece chat completions estándar en https://inference.broadnet.ai/v1, así que ese es el camino. BroadRouter es el sitio de la propia BroadNet; esta guía sigue la documentación de Pydantic AI según la versión 2.68.

Instalación

pip install "pydantic-ai-slim[openai]"
export BROADNET_API_KEY='your-broadnet-key'

Conexión

import os
from pydantic_ai import Agent
from pydantic_ai.models.openai import OpenAIChatModel
from pydantic_ai.providers.openai_compatible import OpenAICompatibleProvider

model = OpenAIChatModel(
    'broadnet/glm-5.3',
    provider=OpenAICompatibleProvider(
        'broadnet',
        base_url='https://inference.broadnet.ai/v1',
        api_key=os.environ['BROADNET_API_KEY'],
    ),
)

agent = Agent(model)
result = agent.run_sync('Give me three names for a Go linting tool.')
print(result.output)

Ejecutar esto es la prueba: si se imprime una respuesta, la clave, la URL y el ID del modelo son correctos.

  • El primer argumento es el ID del modelo que se envía a BroadNet. Úselo tal cual, con el prefijo broadnet/.
  • El nombre del proveedor (aquí 'broadnet') queda registrado en cada respuesta. La documentación de Pydantic AI pide mantenerlo estable, porque decide qué datos de respuestas anteriores se reenvían al servicio.
  • Quédese en OpenAIChatModel. La documentación de Pydantic AI indica usar OpenAIResponsesModel solo si el servicio implementa la Responses API. BroadNet no la ofrece.

Herramientas y salida estructurada

from pydantic import BaseModel

class City(BaseModel):
    name: str
    country: str

agent = Agent(model, output_type=City)
print(agent.run_sync('Which city hosts the Burj Khalifa?').output)

Use broadnet/glm-5.3 o broadnet/qwen3.8-27b para herramientas y salida estructurada; la documentación de BroadNet indica ambas funciones solo para estos dos modelos.

Cuándo definir un model profile

Pydantic AI elige un perfil de solicitud según el nombre del modelo. Si una función se ignora o se rechaza, su documentación indica pasar su propio OpenAIModelProfile. Conviene conocer dos ajustes para BroadNet:

from pydantic_ai.profiles.openai import OpenAIModelProfile

model = OpenAIChatModel(
    'broadnet/glm-5.3',
    provider=OpenAICompatibleProvider('broadnet', base_url='https://inference.broadnet.ai/v1', api_key=os.environ['BROADNET_API_KEY']),
    profile=OpenAIModelProfile(
        openai_chat_supports_max_completion_tokens=False,  # send max_tokens, the field BroadNet documents
        openai_supports_strict_tool_definition=False,      # only if strict tool schemas are rejected
    ),
)

Pase el límite de salida mediante la configuración del modelo, por ejemplo agent.run_sync(prompt, model_settings={'max_tokens': 2000}). En DeepSeek V4.1 Flash, GLM 5.3 y Qwen3.8 27B, el razonamiento cuenta para ese límite.

Qué modelo elegir

Agente Modelo
Herramientas, salida estructurada broadnet/glm-5.3
Imágenes o texto en árabe, con herramientas broadnet/qwen3.8-27b
Documentos largos, plan de precio fijo broadnet/deepseek-v4.1-flash
Crédito inicial gratuito broadnet/gemma-4-26b-a4b (contexto de 32,768 tokens)

Precios de todos los modelos.

Solución de problemas

  • 401. La clave es incorrecta, caducó o se quedó sin saldo.
  • 404 o modelo no encontrado. base_url debe terminar en /v1. Revise el ID del modelo. Los modelos de pago requieren una recarga; el crédito de $5 cubre solo broadnet/gemma-4-26b-a4b y los dos modelos Transcribe.
  • Salida vacía o un bucle de reintentos por validación. El razonamiento consumió el presupuesto de salida. Aumente max_tokens. Por qué las respuestas llegan vacías.
  • 400 en las definiciones de herramientas. Defina openai_supports_strict_tool_definition=False en el perfil y use un modelo para el que BroadNet indique herramientas.
  • 429 al ejecutar agentes en paralelo. Una clave de pago por uso permite 30 solicitudes por minuto y 4 en curso. Consulte errores y reintentos.

Preguntas frecuentes

¿Debo usar OpenAIProvider u OpenAICompatibleProvider con BroadNet?

OpenAICompatibleProvider. La documentación de Pydantic AI dice que OpenAIProvider también acepta base_url, pero está pensado para la propia OpenAI o para un proxy transparente hacia ella, y da por hecho los modelos y funciones de OpenAI.

¿Por qué OpenAIChatModel y no el modelo de OpenAI por defecto?

El modelo de OpenAI por defecto de Pydantic AI usa la Responses API. BroadNet ofrece chat completions en /v1/chat/completions, que es lo que llama OpenAIChatModel.

¿Funcionan las herramientas y la salida estructurada?

Sí, en los modelos para los que BroadNet indica herramientas y salida estructurada: GLM 5.3 y Qwen3.8 27B. La documentación de BroadNet no indica herramientas para DeepSeek V4.1 Flash, así que pruebe antes en él los agentes que usan herramientas.

¿Cómo evito que Pydantic AI envíe max_completion_tokens?

Pase profile=OpenAIModelProfile(openai_chat_supports_max_completion_tokens=False) a OpenAIChatModel. Pydantic AI enviará entonces el campo anterior max_tokens, que es el que describe la referencia de la API de BroadNet.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity