BroadRouter

CrewAI sa BroadNet Inference bilang custom na OpenAI endpoint

Na-update

Gawin ang model gamit ang LLM class ng crewai: model na isang BroadNet ID gaya ng broadnet/glm-5.3, custom_openai=True, base_url na https://inference.broadnet.ai/v1 at api_key na BroadNet key mo. Pagkatapos, ibigay ang LLM na iyon sa bawat Agent. Native na OpenAI client at chat completions ang gamit ng CrewAI, kaya hindi kailangang mag-install ng LiteLLM.

Ang CrewAI ay Python framework para sa mga team ng agent. Ipinapakita ng docs nito ang pattern ng custom na OpenAI-compatible endpoint: isang LLM na may custom_openai=True at base_url. Karaniwang chat completions ang sine-serve ng BroadNet Inference sa https://inference.broadnet.ai/v1, kaya doon ito isinasaksak. Sariling site ng BroadNet ang BroadRouter; sinusundan nito ang docs at source code ng CrewAI sa bersyon 1.15.41.

I-install

pip install crewai
export BROADNET_API_KEY='your-broadnet-key'

Ikonekta

import os
from crewai import LLM, Agent

llm = LLM(
    model="broadnet/glm-5.3",
    custom_openai=True,
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,  # reasoning counts toward this limit
)

# Quick test: one call straight to the model
print(llm.call("Say hello in five words."))

analyst = Agent(
    role="Analyst",
    goal="Summarize incidents",
    backstory="You write short incident summaries.",
    llm=llm,
)
print(analyst.kickoff("Summarize: the API returned 503 for four minutes after a deploy."))

Kung may sagot na lumabas sa llm.call, tama ang key, URL at model ID.

Paano dinadala ng CrewAI ang request

May itinakdang pagkakasunod-sunod ang source code ng CrewAI: nauuna ang custom_openai=True at pinipilit nito ang native na OpenAI provider, anuman ang ipahiwatig ng pangalan ng model. Nag-e-error din ito maliban kung may custom na endpoint na naka-set sa pamamagitan ng base_url, api_base, OPENAI_BASE_URL o OPENAI_API_BASE. Ipinapadala ang model string nang eksakto kung paano isinulat, kaya hindi nababago ang broadnet/glm-5.3 pagdating sa BroadNet.

Kung walang custom_openai, babasahin ang pangalang gaya ng broadnet/glm-5.3 bilang provider na broadnet, na hindi kilala ng CrewAI, kaya babagsak ito sa LiteLLM. Ang dokumentadong alternatibo ay model="openai/broadnet/glm-5.3" na may base_url: tinatanggal ng CrewAI ang openai/ prefix at ipinapadala ang natitira.

Dalawa pang bagay mula sa code at docs ng CrewAI:

  • Field ng token limit. Kapag nagpasa ka ng max_tokens, max_tokens ang ipinapadala ng native client sa chat completions, ang field na inilalarawan ng API reference ng BroadNet. Kung max_completion_tokens ang ipapasa mo, iyon ang ipapadala.
  • Manatili sa chat completions. Ipinapakita ng docs ng CrewAI ang api="responses" para lumipat sa Responses API. Huwag itong i-set; hindi nakalista ang API na iyon sa BroadNet.

Aling model para sa aling agent

Agent Model Bakit
Mga agent na may tools broadnet/glm-5.3 Nakalista sa BroadNet ang tools at structured output; 1M context
Input na larawan o Arabic, may tools broadnet/qwen3.8-27b Tools at mga larawan; 262K context
Mahahabang reading task, flat-rate na plan broadnet/deepseek-v4.1-flash Mga unlimited na plan; walang tools na nakalista sa BroadNet

Puwedeng paghaluin ng isang crew ang mga ito: bigyan ang bawat Agent ng sarili nitong LLM.

Troubleshooting

  • 401. Mali, expired o ubos na ang allowance ng key. Kung hindi mo isinama ang api_key, OPENAI_API_KEY ang binasa ng CrewAI, na baka OpenAI key ang laman.
  • “custom_openai=True requires base_url”. Ipasa ang base_url, o i-set ang OPENAI_BASE_URL.
  • Model not found. Tiyaking eksaktong tugma ang ID sa ID ng BroadNet. Kailangan ng top-up para sa mga bayad na model; ang broadnet/gemma-4-26b-a4b at ang dalawang Transcribe model lang ang sakop ng $5 na credit.
  • EmptyLLMResponseError. Isang beses nire-retry ng CrewAI ang walang lamang sagot, saka nito itinataas ito. Taasan ang max_tokens. Bakit walang laman ang mga sagot.
  • 429 kapag maraming agent. Ang isang pay-as-you-go key ay may 30 request kada minuto at 4 na sabay na tumatakbo, at isang request lang sa isang pagkakataon ang pinapatakbo ng plan session. Tingnan ang errors and retries.

Mga tanong

Ano ang ginagawa ng custom_openai=True sa CrewAI?

Ayon sa source code ng CrewAI, pinipilit nito ang native na OpenAI provider anuman ang itsura ng pangalan ng model, at kailangan nito ng base_url, api_base, OPENAI_BASE_URL o OPENAI_API_BASE. Ipinapadala ang model string nang eksakto kung paano isinulat, kaya hindi nababago ang broadnet/glm-5.3 pagdating sa BroadNet.

Puwede ko bang isulat na lang ang model="openai/broadnet/glm-5.3"?

Oo. Kapag may custom na base_url, dinadala ng CrewAI ang openai/ prefix sa native na OpenAI client nito at tinatanggal ang prefix, kaya broadnet/glm-5.3 ang matatanggap ng BroadNet. Mas malinaw na anyo ang custom_openai=True.

Bakit pumapalya ang crew ko nang may EmptyLLMResponseError?

Isang beses nire-retry ng CrewAI ang walang lamang sagot, ibig sabihin ay walang content at walang tool calls, at itinataas nito ang error na ito kung wala ring laman ang retry. Sa mga reasoning model ng BroadNet, kadalasang ibig sabihin nito ay naubos ng reasoning ang output budget. Taasan ang max_tokens.

Aling model ng BroadNet ang dapat gamitin ng mga CrewAI agent?

GLM 5.3 para sa mga agent na may tools, dahil nakalista sa BroadNet ang tools at structured output para dito. May tools din ang Qwen3.8 27B at tumatanggap ito ng larawan.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity