BroadRouter

LangChain で BroadNet Inference を使う

更新日

langchain-openai をインストールし、base_url を https://inference.broadnet.ai/v1、api_key を BroadNet のキー、モデルを broadnet/glm-5.3 などの BroadNet モデル ID にして ChatOpenAI を作成します。invoke、ストリーミング、ツール呼び出しのチェーンは chat completions で動きます。Responses API 専用の機能は避け、max_tokens には推論の分の余裕を残してください。

LangChain の ChatOpenAI は、base_url で任意のエンドポイントを受け付けます。BroadNet Inference は標準的な chat completions の形式を使うので、そのまま接続できます。API を直接呼び出す場合は、Python SDK のガイドを参照してください。

インストール

現行の langchain-openai(1.x)には Python 3.11 以上が必要です。

pip install -U langchain-openai
export BROADNET_API_KEY='paste-the-key-once'

接続する

import os
from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="broadnet/glm-5.3",
    base_url="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    max_tokens=2000,  # reasoning counts toward this limit
)

print(llm.invoke("Summarise the CAP theorem in two sentences.").content)

コード内の英語のコメントは、推論もこの上限に含まれるという意味です。

openai_api_base は base_url のエイリアスです。どちらも指定しない場合、LangChain は環境変数 OPENAI_API_BASE を読み、次に内部の openai クライアントが OPENAI_BASE_URL を読みます。

知っておきたいこと

  • 推論のテキストは保持されません。 LangChain のドキュメントによると、ChatOpenAI は OpenAI の公式仕様に従っており、reasoning_content のような非標準フィールドは保持しません。受け取るのは最終的な回答で、チェーンに必要なのはたいていそれだけです。
  • 推論の分の余裕を残してください。 GLM 5.3、DeepSeek V4.1 Flash、Qwen3.8 27B は先に推論します。max_tokens が小さいと、空の回答が返ることがあります。回答が空になる理由。
  • ストリーミング時の使用量。 OPENAI_BASE_URL でエンドポイントを設定すると、LangChain はデフォルトで stream_usage をオフにします。ストリーミング中にトークン数を取得したい場合は stream_usage=True を渡してください。BroadNet のドキュメントによると、使用量をリクエストした場合は最後のチャンクで届きます。
  • chat completions だけを使ってください。 BroadNet が提供するのは /v1/chat/completions で、Responses API はありません。LangChain のドキュメントによると、OpenAI の組み込みツール(Web 検索、ファイル検索、コードインタープリターなど)、会話状態、reasoning パラメーターを使うと、ChatOpenAI は Responses API に切り替わります。これらは使わず、use_responses_api=True も設定しないでください。
  • トークン上限のパラメーター名。 LangChain のドキュメントによると、max_tokens は内部で max_completion_tokens に変換されます。BroadNet のドキュメントに記載されているのは max_tokens です。上限が効いていないように見える場合は、アプリが実際に送っているリクエストを確認してください。

チェーンごとのモデルの選び方

チェーン モデル
ツール呼び出しと構造化出力 broadnet/glm-5.3
長いドキュメントとエージェント、無制限プラン broadnet/deepseek-v4.1-flash
アラビア語のテキストや画像 broadnet/qwen3.8-27b

全モデルの料金を見る。

トラブルシューティング

  • 401。 キーが間違っている、期限切れ、または従量課金の利用枠を使い切っています。api_key を渡していない場合、LangChain は OPENAI_API_KEY を使っており、そこには OpenAI のキーが入っているかもしれません。
  • 404 または「not found」。 base_url が /v1 で終わっているか、呼び出しを Responses API に回す設定がないか(上記参照)を確認してください。次に、モデル ID が broadnet/ プレフィックスを含めて BroadNet のものと完全に一致しているか確認します。有料モデルにはチャージが必要です。$5 の初回クレジットで使えるのは broadnet/gemma-4-26b-a4b と 2 つの Transcribe モデルです。
  • content が空。 推論が予算を使い切っています。max_tokens を上げてください。回答が空になる理由。
  • ツール呼び出しがまったく起きない。 broadnet/glm-5.3 か broadnet/qwen3.8-27b を使ってください。BroadNet のドキュメントでツールが記載されているのはこの 2 つだけです。
  • バッチや並列のチェーンで 429。 従量課金のキーは毎分 30 リクエスト、同時実行 4 リクエストまでです。batch() では runnable の設定で max_concurrency を指定してください。エラーコードとリトライを参照してください。

よくある質問

ChatOpenAI では base_url と openai_api_base のどちらを使えばよいですか?

どちらでも構いません。openai_api_base は base_url のエイリアスです。どちらも渡さない場合、LangChain は OPENAI_API_BASE を確認し、その後 openai クライアントが OPENAI_BASE_URL を読みます。

環境変数だけで BroadNet のエンドポイントを設定できますか?

はい。OPENAI_BASE_URL を https://inference.broadnet.ai/v1、OPENAI_API_KEY を BroadNet のキーに設定し、ChatOpenAI はモデル ID だけを指定して作成します。ストリーミング中にトークン数も取得したい場合は stream_usage=True を渡してください。

LangChain が BroadNet のレスポンスから reasoning_content を落とすのはなぜですか?

LangChain のドキュメントによると、ChatOpenAI は OpenAI の公式仕様に従っており、reasoning_content のような非標準フィールドは取り出しません。最終的な回答は content で受け取れます。

BroadNet を使う ChatOpenAI でツール呼び出しはできますか?

はい。BroadNet がツール対応として記載しているモデルなら、bind_tools で使えます。ツール呼び出しと with_structured_output には broadnet/glm-5.3 か broadnet/qwen3.8-27b を使ってください。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く