BroadRouter

CrewAI で BroadNet Inference をカスタム OpenAI エンドポイントとして使う

更新日

crewai の LLM クラスでモデルを作成し、model に broadnet/glm-5.3 などの BroadNet の ID、custom_openai=True、base_url に https://inference.broadnet.ai/v1、api_key に BroadNet のキーを渡します。その LLM を各 Agent に渡します。CrewAI はネイティブの OpenAI クライアントと chat completions を使うので、LiteLLM のインストールは不要です。

CrewAI は、エージェントのチームを組むための Python フレームワークです。ドキュメントにはカスタムの OpenAI 互換エンドポイントのパターンとして、custom_openai=True と base_url を指定した LLM が載っています。BroadNet Inference は https://inference.broadnet.ai/v1 で標準的な chat completions を提供しているので、そこに組み込めます。BroadRouter は BroadNet 自身のサイトです。この記事はバージョン 1.15.41 時点の CrewAI のドキュメントとソースコードに沿っています。

インストール

pip install crewai
export BROADNET_API_KEY='your-broadnet-key'

接続する

import os
from crewai import LLM, Agent

llm = LLM(
    model="broadnet/glm-5.3",
    custom_openai=True,
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=4000,  # reasoning counts toward this limit
)

# Quick test: one call straight to the model
print(llm.call("Say hello in five words."))

analyst = Agent(
    role="Analyst",
    goal="Summarize incidents",
    backstory="You write short incident summaries.",
    llm=llm,
)
print(analyst.kickoff("Summarize: the API returned 503 for four minutes after a deploy."))

llm.call が回答を表示すれば、キー、URL、モデル ID は正しく設定されています。

CrewAI がリクエストを振り分ける仕組み

CrewAI のソースコードには優先順位があります。custom_openai=True が最優先で、ネイティブの OpenAI プロバイダーを強制し、モデル名が示すものはすべて上書きされます。また、base_url、api_base、OPENAI_BASE_URL、OPENAI_API_BASE のいずれかでカスタムのエンドポイントを設定していないとエラーになります。モデルの文字列は書いたとおりに送られるので、broadnet/glm-5.3 はそのまま BroadNet に届きます。

custom_openai がないと、broadnet/glm-5.3 のような名前はプロバイダー broadnet と解釈されます。CrewAI はこのプロバイダーを知らないため、LiteLLM にフォールバックします。ドキュメントに載っている別の書き方は、model="openai/broadnet/glm-5.3" と base_url の組み合わせです。CrewAI は openai/ プレフィックスを取り除き、残りを送ります。

CrewAI のコードとドキュメントからは、ほかにも 2 点わかります。

  • トークン上限のフィールド。 max_tokens を渡すと、ネイティブのクライアントは chat completions で max_tokens を送ります。BroadNet の API リファレンスに記載されているフィールドです。max_completion_tokens を渡した場合は、そちらが送られます。
  • chat completions のままにする。 CrewAI のドキュメントには、Responses API に切り替える api="responses" が載っています。これは設定しないでください。BroadNet はこの API を掲載していません。

どのエージェントにどのモデルを使うか

エージェント モデル 理由
ツールを使うエージェント broadnet/glm-5.3 BroadNet がツールと構造化出力を掲載。1M コンテキスト
画像やアラビア語の入力、ツールあり broadnet/qwen3.8-27b ツールと画像。262K コンテキスト
長文を読むタスク、定額プラン broadnet/deepseek-v4.1-flash 無制限プラン。BroadNet はツールを掲載していない

1 つの crew でこれらを組み合わせることもできます。Agent ごとに別の LLM を渡してください。

トラブルシューティング

  • 401。 キーが間違っている、期限切れ、または利用枠を使い切っています。api_key を省略した場合、CrewAI は OPENAI_API_KEY を読みます。そこには OpenAI のキーが入っているかもしれません。
  • “custom_openai=True requires base_url”。 base_url を渡すか、OPENAI_BASE_URL を設定してください。
  • モデルが見つからない。 ID が BroadNet のものと完全に一致しているか確認してください。有料モデルにはチャージが必要です。$5 のクレジットで使えるのは broadnet/gemma-4-26b-a4b と 2 つの Transcribe モデルだけです。
  • EmptyLLMResponseError。 CrewAI は空の回答を 1 回だけリトライし、その後このエラーを出します。max_tokens を大きくしてください。回答が空で返ってくる理由。
  • 複数のエージェントで 429。 従量課金のキーでは 1 分あたり 30 リクエスト、処理中のリクエストは同時に 4 個までで、プランのセッションは一度に 1 つのリクエストしか処理しません。エラーとリトライを参照してください。

よくある質問

CrewAI の custom_openai=True は何をするのですか?

CrewAI のソースコードによると、モデル名がどう見えるかに関係なくネイティブの OpenAI プロバイダーを強制し、base_url、api_base、OPENAI_BASE_URL、OPENAI_API_BASE のいずれかを必須にします。モデルの文字列は書いたとおりに送られるので、broadnet/glm-5.3 はそのまま BroadNet に届きます。

model="openai/broadnet/glm-5.3" と書いてもいいですか?

はい。カスタムの base_url があると、CrewAI は openai/ プレフィックスをネイティブの OpenAI クライアントに振り分けてプレフィックスを取り除くので、BroadNet には broadnet/glm-5.3 が届きます。custom_openai=True のほうが意図が明確です。

crew が EmptyLLMResponseError で失敗するのはなぜですか?

CrewAI は、内容もツール呼び出しもない空の回答を 1 回だけ再試行し、再試行も空だとこのエラーを出します。BroadNet の推論モデルでは、たいてい推論が出力の上限を使い切ったことを意味します。max_tokens を大きくしてください。

CrewAI のエージェントにはどの BroadNet モデルを使えばいいですか?

ツールを使うエージェントには GLM 5.3 です。BroadNet がツールと構造化出力に対応として掲載しています。Qwen3.8 27B もツールに対応し、画像も受け付けます。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く