BroadRouter

CrewAI con BroadNet Inference como endpoint OpenAI personalizado

Actualizado

Cree el modelo con la clase LLM de crewai, con model igual a un ID de BroadNet como broadnet/glm-5.3, custom_openai=True, base_url igual a https://inference.broadnet.ai/v1 y api_key con su clave de BroadNet. Luego asigne ese LLM a cada Agent. CrewAI usa su cliente nativo de OpenAI y chat completions, así que no necesita instalar LiteLLM.

CrewAI es un framework de Python para equipos de agentes. Su documentación muestra un patrón de endpoint personalizado compatible con OpenAI: un LLM con custom_openai=True y un base_url. BroadNet Inference sirve chat completions estándar en https://inference.broadnet.ai/v1, así que encaja ahí. BroadRouter es el sitio de la propia BroadNet; esta guía sigue la documentación y el código fuente de CrewAI a la versión 1.15.41.

Instalación

pip install crewai
export BROADNET_API_KEY='your-broadnet-key'

Conexión

import os
from crewai import LLM, Agent

llm = LLM(
    model="broadnet/glm-5.3",
    custom_openai=True,
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,  # reasoning counts toward this limit
)

# Quick test: one call straight to the model
print(llm.call("Say hello in five words."))

analyst = Agent(
    role="Analyst",
    goal="Summarize incidents",
    backstory="You write short incident summaries.",
    llm=llm,
)
print(analyst.kickoff("Summarize: the API returned 503 for four minutes after a deploy."))

Si llm.call imprime una respuesta, la clave, la URL y el ID del modelo son correctos.

Cómo enruta CrewAI la solicitud

El código fuente de CrewAI fija un orden: custom_openai=True va primero y fuerza el proveedor nativo de OpenAI, por encima de lo que sugiera el nombre del modelo. Además lanza un error si no se define un endpoint personalizado mediante base_url, api_base, OPENAI_BASE_URL u OPENAI_API_BASE. El nombre del modelo se envía tal cual, así que broadnet/glm-5.3 llega a BroadNet sin cambios.

Sin custom_openai, un nombre como broadnet/glm-5.3 se interpretaría como el proveedor broadnet, que CrewAI no conoce, y recurriría a LiteLLM. La alternativa documentada es model="openai/broadnet/glm-5.3" con un base_url: CrewAI elimina el prefijo openai/ y envía el resto.

Dos detalles más del código y la documentación de CrewAI:

  • Campo del límite de tokens. Cuando pasa max_tokens, el cliente nativo envía max_tokens en chat completions, el campo que describe la referencia de la API de BroadNet. Si pasa max_completion_tokens, se envía ese en su lugar.
  • Quédese en chat completions. La documentación de CrewAI muestra api="responses" para cambiar a la Responses API. No lo defina; BroadNet no ofrece esa API.

Qué modelo para cada agente

Agente Modelo Por qué
Agentes con herramientas broadnet/glm-5.3 BroadNet indica herramientas y salida estructurada; contexto de 1M
Entrada de imágenes o en árabe, con herramientas broadnet/qwen3.8-27b Herramientas e imágenes; contexto de 262K
Tareas de lectura largas, plan de tarifa plana broadnet/deepseek-v4.1-flash Planes ilimitados; BroadNet no indica herramientas

Una crew puede combinarlos: dé a cada Agent su propio LLM.

Solución de problemas

  • 401. La clave es incorrecta, caducó o se quedó sin saldo. Si omitió api_key, CrewAI leyó OPENAI_API_KEY, que puede contener una clave de OpenAI.
  • “custom_openai=True requires base_url”. Pase base_url o defina OPENAI_BASE_URL.
  • Modelo no encontrado. Compruebe que el ID coincida exactamente con el de BroadNet. Los modelos de pago requieren una recarga; el crédito de $5 cubre solo broadnet/gemma-4-26b-a4b y los dos modelos Transcribe.
  • EmptyLLMResponseError. CrewAI reintenta una vez ante una respuesta vacía y después lanza este error. Aumente max_tokens. Por qué las respuestas llegan vacías.
  • 429 con varios agentes. Una clave de pago por uso permite 30 solicitudes por minuto y 4 en curso, y una sesión de plan atiende una solicitud a la vez. Consulte errores y reintentos.

Preguntas frecuentes

¿Qué hace custom_openai=True en CrewAI?

El código fuente de CrewAI indica que fuerza el proveedor nativo de OpenAI sin importar cómo sea el nombre del modelo, y exige base_url, api_base, OPENAI_BASE_URL u OPENAI_API_BASE. El nombre del modelo se envía tal cual, así que broadnet/glm-5.3 llega a BroadNet sin cambios.

¿Puedo escribir model="openai/broadnet/glm-5.3" en su lugar?

Sí. Con un base_url personalizado, CrewAI dirige el prefijo openai/ a su cliente nativo de OpenAI y lo elimina, así que BroadNet recibe broadnet/glm-5.3. custom_openai=True es la forma más clara.

¿Por qué mi crew falla con EmptyLLMResponseError?

CrewAI reintenta una vez una respuesta vacía, sin contenido y sin llamadas a herramientas, y lanza este error si el reintento también llega vacío. Con los modelos de razonamiento de BroadNet, eso suele significar que el razonamiento agotó el presupuesto de salida. Aumente max_tokens.

¿Qué modelo de BroadNet deberían usar los agentes de CrewAI?

GLM 5.3 para agentes con herramientas, ya que BroadNet indica que admite herramientas y salida estructurada. Qwen3.8 27B también admite herramientas y acepta imágenes.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity