BroadRouter

smolagents en BroadNet Inference con OpenAIModel

Actualizado

Cree el OpenAIModel de smolagents con model_id en un ID de BroadNet como broadnet/glm-5.3, api_base en https://inference.broadnet.ai/v1 y api_key en su clave de BroadNet, y páselo a CodeAgent o ToolCallingAgent. CodeAgent escribe Python en lugar de usar llamadas a herramientas nativas, así que puede funcionar con DeepSeek V4.1 Flash. ToolCallingAgent necesita GLM 5.3 o Qwen3.8 27B.

smolagents es la pequeña biblioteca de Python de Hugging Face para agentes. Su clase OpenAIModel “connects to an OpenAI-compatible API server” (traducción: se conecta a un servidor de API compatible con OpenAI), con api_base para la URL. BroadNet Inference sirve chat completions en https://inference.broadnet.ai/v1, así que funciona directamente. BroadRouter es el sitio de la propia BroadNet; esta guía sigue la documentación de smolagents 1.26.0.

Instalación

pip install smolagents
export BROADNET_API_KEY='your-broadnet-key'

CodeAgent

import os
from smolagents import OpenAIModel, CodeAgent

model = OpenAIModel(
    model_id="broadnet/deepseek-v4.1-flash",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,
)

agent = CodeAgent(tools=[], model=model)
print(agent.run("What is 6 * 7? Use Python to check."))

CodeAgent le pide al modelo que escriba Python entre etiquetas <code> y lo ejecuta localmente. La solicitud es un chat completion simple con secuencias de parada (stop sequences) como </code> y sin campo tools. Es decir, no depende de las llamadas a herramientas nativas, así que puede funcionar con broadnet/deepseek-v4.1-flash, el modelo de los planes ilimitados de BroadNet. La calidad del código sigue variando según el modelo, así que pruebe sus propias tareas.

CodeAgent ejecuta código que escribe el modelo. Lea las recomendaciones de smolagents sobre ejecución segura de código antes de darle herramientas que toquen archivos, redes o credenciales.

ToolCallingAgent

from smolagents import ToolCallingAgent, tool

@tool
def get_weather(city: str) -> str:
    """Get the weather for a city.

    Args:
        city: The city name.
    """
    return f"21C in {city}"

model = OpenAIModel(
    model_id="broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,
)
agent = ToolCallingAgent(tools=[get_weather], model=model)
print(agent.run("What's the weather in Riyadh?"))

ToolCallingAgent envía sus herramientas, más su propia herramienta final_answer, como esquemas de funciones con tool_choice: "required". Use broadnet/glm-5.3 o broadnet/qwen3.8-27b; la documentación de BroadNet indica herramientas solo para estos dos modelos.

Qué modelo elegir

Agente Modelo
CodeAgent, ejecuciones largas con un plan de tarifa plana broadnet/deepseek-v4.1-flash
ToolCallingAgent broadnet/glm-5.3
Cualquiera de los dos con entrada de imágenes broadnet/qwen3.8-27b

Una sesión de plan ejecuta una solicitud a la vez, y un agente envía sus pasos uno tras otro, así que una sesión sirve para un agente. Precios de todos los modelos.

Cómo lo probamos

El 2026-11-15 instalamos smolagents 1.26.0 en un entorno virtual limpio y ejecutamos ambos agentes contra un servidor simulado local que habla el formato de chat completions de BroadNet. El CodeAgent con el ID de DeepSeek recibió una respuesta con código, la ejecutó y devolvió 42. Sus solicitudes llevaban max_tokens: 4000, secuencias de parada y ninguna herramienta. En el ToolCallingAgent revisamos la forma de la solicitud: el ID de modelo se envió sin cambios, con los dos esquemas de herramientas y tool_choice: "required". smolagents devuelve los resultados de las herramientas como mensajes user. Nuestro servidor simulado no seguía ese formato, así que no llevamos ese agente hasta una respuesta final. No teníamos una clave de BroadNet, así que no probamos la salida de un modelo real.

Solución de problemas

  • 401. La clave es incorrecta, expiró o se quedó sin saldo.
  • 404. api_base debe terminar en /v1. Revise el ID del modelo. Los modelos de pago requieren una recarga; el crédito de $5 cubre solo broadnet/gemma-4-26b-a4b y los dos modelos Transcribe.
  • “Make sure to provide correct code blobs”. (Traducción: asegúrese de proporcionar bloques de código correctos.) La respuesta del modelo no tenía bloque de código. Suba max_tokens, porque el razonamiento cuenta para él, o pruebe otro modelo. Por qué las respuestas llegan vacías.
  • ToolCallingAgent nunca termina. Cambie a broadnet/glm-5.3 o broadnet/qwen3.8-27b.
  • 429. Una clave de pago por uso permite 30 solicitudes por minuto. smolagents puede limitarse a sí mismo con requests_per_minute. Consulte errores y reintentos.

Preguntas frecuentes

¿Es OpenAIModel u OpenAIServerModel?

smolagents 1.26 documenta OpenAIModel para cualquier servidor compatible con OpenAI. El paquete todavía exporta OpenAIServerModel, pero la documentación describe OpenAIModel.

¿Puede smolagents funcionar con el plan ilimitado de BroadNet?

Los planes cubren DeepSeek V4.1 Flash. BroadNet no indica llamadas a herramientas para él, pero CodeAgent no necesita llamadas a herramientas nativas: le pide código Python al modelo. En nuestra prueba con un servidor simulado, un CodeAgent con el ID de DeepSeek envió solicitudes de chat simples sin campo tools.

¿Por qué ToolCallingAgent necesita GLM 5.3 o Qwen3.8 27B?

Envía las herramientas como esquemas de funciones de OpenAI con tool_choice en required. La documentación de BroadNet indica herramientas solo para GLM 5.3 y Qwen3.8 27B.

¿Cómo paso max_tokens o temperature?

Como argumentos con nombre a OpenAIModel. La documentación de smolagents dice que los argumentos adicionales se reenvían a cada llamada de completion. En nuestra prueba se envió max_tokens=4000 en cada solicitud.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity