BroadRouter

CrewAI com a BroadNet Inference como endpoint OpenAI personalizado

Atualizado em

Crie o modelo com a classe LLM do crewai, passando model com um ID da BroadNet como broadnet/glm-5.3, custom_openai=True, base_url como https://inference.broadnet.ai/v1 e api_key com a sua chave da BroadNet. Depois entregue esse LLM a cada Agent. O CrewAI usa o cliente OpenAI nativo e chat completions, então não é preciso instalar o LiteLLM.

O CrewAI é um framework Python para equipes de agentes. A documentação dele mostra um padrão de endpoint personalizado compatível com a OpenAI: um LLM com custom_openai=True e um base_url. A BroadNet Inference serve chat completions padrão em https://inference.broadnet.ai/v1, então se conecta exatamente aí. O BroadRouter é o site da própria BroadNet; este guia segue a documentação e o código-fonte do CrewAI na versão 1.15.41.

Instalação

pip install crewai
export BROADNET_API_KEY='your-broadnet-key'

Conexão

import os
from crewai import LLM, Agent

llm = LLM(
    model="broadnet/glm-5.3",
    custom_openai=True,
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,  # reasoning counts toward this limit
)

# Quick test: one call straight to the model
print(llm.call("Say hello in five words."))

analyst = Agent(
    role="Analyst",
    goal="Summarize incidents",
    backstory="You write short incident summaries.",
    llm=llm,
)
print(analyst.kickoff("Summarize: the API returned 503 for four minutes after a deploy."))

Se llm.call imprimir uma resposta, a chave, a URL e o ID do modelo estão certos.

Como o CrewAI roteia a requisição

O código-fonte do CrewAI define uma ordem: custom_openai=True vem primeiro e força o provedor OpenAI nativo, passando por cima do que o nome do modelo sugerir. Ele também lança um erro se nenhum endpoint personalizado for definido via base_url, api_base, OPENAI_BASE_URL ou OPENAI_API_BASE. A string do modelo é enviada como está, então broadnet/glm-5.3 chega à BroadNet sem mudança.

Sem custom_openai, um nome como broadnet/glm-5.3 seria lido como provedor broadnet, que o CrewAI não conhece, e cairia no LiteLLM. A alternativa documentada é model="openai/broadnet/glm-5.3" com um base_url: o CrewAI remove o prefixo openai/ e envia o resto.

Mais duas coisas do código e da documentação do CrewAI:

  • Campo de limite de tokens. Quando você passa max_tokens, o cliente nativo envia max_tokens em chat completions, o campo descrito na referência da API da BroadNet. Se você passar max_completion_tokens, é ele que vai.
  • Fique em chat completions. A documentação do CrewAI mostra api="responses" para mudar para a Responses API. Não defina isso; a BroadNet não lista essa API.

Qual modelo para qual agente

Agente Modelo Por quê
Agentes com ferramentas broadnet/glm-5.3 A BroadNet lista ferramentas e saída estruturada; contexto de 1M
Entrada de imagem ou em árabe, com ferramentas broadnet/qwen3.8-27b Ferramentas e imagens; contexto de 262K
Leituras longas, plano de preço fixo broadnet/deepseek-v4.1-flash Planos ilimitados; ferramentas não listadas pela BroadNet

Uma crew pode misturar os modelos: dê a cada Agent o seu próprio LLM.

Solução de problemas

  • 401. A chave está errada, expirada ou sem cota. Se você omitiu api_key, o CrewAI leu OPENAI_API_KEY, que pode conter uma chave da OpenAI.
  • “custom_openai=True requires base_url”. Passe base_url ou defina OPENAI_BASE_URL.
  • Modelo não encontrado. Confira se o ID bate exatamente com o da BroadNet. Modelos pagos exigem uma recarga; o crédito de $5 cobre só broadnet/gemma-4-26b-a4b e os dois modelos Transcribe.
  • EmptyLLMResponseError. O CrewAI tenta de novo uma vez após uma resposta vazia e depois lança esse erro. Aumente max_tokens. Por que as respostas vêm vazias.
  • 429 com vários agentes. Uma chave de pagamento por uso permite 30 requisições por minuto e 4 em andamento, e uma sessão do plano roda uma requisição por vez. Veja erros e novas tentativas.

Perguntas frequentes

O que custom_openai=True faz no CrewAI?

Segundo o código-fonte do CrewAI, ele força o provedor OpenAI nativo, seja qual for o nome do modelo, e exige base_url, api_base, OPENAI_BASE_URL ou OPENAI_API_BASE. A string do modelo é enviada como está, então broadnet/glm-5.3 chega à BroadNet sem mudança.

Posso escrever model="openai/broadnet/glm-5.3" no lugar?

Sim. Com um base_url personalizado, o CrewAI encaminha o prefixo openai/ para o cliente OpenAI nativo e remove o prefixo, então a BroadNet recebe broadnet/glm-5.3. custom_openai=True é a forma mais clara.

Por que minha crew falha com EmptyLLMResponseError?

O CrewAI repete uma vez a chamada quando a resposta vem vazia, sem conteúdo e sem chamada de ferramenta, e lança esse erro se a nova tentativa também vier vazia. Nos modelos de raciocínio da BroadNet, isso geralmente significa que o raciocínio gastou o orçamento de saída. Aumente max_tokens.

Qual modelo da BroadNet os agentes do CrewAI devem usar?

GLM 5.3 para agentes com ferramentas, já que a BroadNet lista ferramentas e saída estruturada para ele. O Qwen3.8 27B também tem ferramentas e aceita imagens.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity