LangChain の ChatOpenAI は、base_url で任意のエンドポイントを受け付けます。BroadNet Inference は標準的な chat completions の形式を使うので、そのまま接続できます。API を直接呼び出す場合は、Python SDK のガイドを参照してください。
インストール
現行の langchain-openai(1.x)には Python 3.11 以上が必要です。
pip install -U langchain-openai
export BROADNET_API_KEY='paste-the-key-once'
接続する
import os
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="broadnet/glm-5.3",
base_url="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
max_tokens=2000, # reasoning counts toward this limit
)
print(llm.invoke("Summarise the CAP theorem in two sentences.").content)
コード内の英語のコメントは、推論もこの上限に含まれるという意味です。
openai_api_base は base_url のエイリアスです。どちらも指定しない場合、LangChain は環境変数 OPENAI_API_BASE を読み、次に内部の openai クライアントが OPENAI_BASE_URL を読みます。
知っておきたいこと
- 推論のテキストは保持されません。 LangChain のドキュメントによると、
ChatOpenAIは OpenAI の公式仕様に従っており、reasoning_contentのような非標準フィールドは保持しません。受け取るのは最終的な回答で、チェーンに必要なのはたいていそれだけです。 - 推論の分の余裕を残してください。 GLM 5.3、DeepSeek V4.1 Flash、Qwen3.8 27B は先に推論します。
max_tokensが小さいと、空の回答が返ることがあります。回答が空になる理由。 - ストリーミング時の使用量。
OPENAI_BASE_URLでエンドポイントを設定すると、LangChain はデフォルトでstream_usageをオフにします。ストリーミング中にトークン数を取得したい場合はstream_usage=Trueを渡してください。BroadNet のドキュメントによると、使用量をリクエストした場合は最後のチャンクで届きます。 - chat completions だけを使ってください。 BroadNet が提供するのは
/v1/chat/completionsで、Responses API はありません。LangChain のドキュメントによると、OpenAI の組み込みツール(Web 検索、ファイル検索、コードインタープリターなど)、会話状態、reasoningパラメーターを使うと、ChatOpenAIは Responses API に切り替わります。これらは使わず、use_responses_api=Trueも設定しないでください。 - トークン上限のパラメーター名。 LangChain のドキュメントによると、
max_tokensは内部でmax_completion_tokensに変換されます。BroadNet のドキュメントに記載されているのはmax_tokensです。上限が効いていないように見える場合は、アプリが実際に送っているリクエストを確認してください。
チェーンごとのモデルの選び方
| チェーン | モデル |
|---|---|
| ツール呼び出しと構造化出力 | broadnet/glm-5.3 |
| 長いドキュメントとエージェント、無制限プラン | broadnet/deepseek-v4.1-flash |
| アラビア語のテキストや画像 | broadnet/qwen3.8-27b |
トラブルシューティング
- 401。 キーが間違っている、期限切れ、または従量課金の利用枠を使い切っています。
api_keyを渡していない場合、LangChain はOPENAI_API_KEYを使っており、そこには OpenAI のキーが入っているかもしれません。 - 404 または「not found」。
base_urlが/v1で終わっているか、呼び出しを Responses API に回す設定がないか(上記参照)を確認してください。次に、モデル ID がbroadnet/プレフィックスを含めて BroadNet のものと完全に一致しているか確認します。有料モデルにはチャージが必要です。$5 の初回クレジットで使えるのはbroadnet/gemma-4-26b-a4bと 2 つの Transcribe モデルです。 contentが空。 推論が予算を使い切っています。max_tokensを上げてください。回答が空になる理由。- ツール呼び出しがまったく起きない。
broadnet/glm-5.3かbroadnet/qwen3.8-27bを使ってください。BroadNet のドキュメントでツールが記載されているのはこの 2 つだけです。 - バッチや並列のチェーンで 429。 従量課金のキーは毎分 30 リクエスト、同時実行 4 リクエストまでです。
batch()では runnable の設定でmax_concurrencyを指定してください。エラーコードとリトライを参照してください。
