LiteLLM は、Python SDK とプロキシサーバーの両方の形で、多くの LLM プロバイダーへの共通のインターフェースを提供します。OpenAI 互換 API に接続するには、ドキュメントによると 2 つのことをします。モデル名の前に openai/ を付けることと、api_base を設定することです。BroadNet Inference にはこのルートを使います。
1. Python SDK
pip install litellm
export BROADNET_API_KEY='your-broadnet-key'
import os
import litellm
response = litellm.completion(
model="openai/broadnet/glm-5.3",
api_base="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
max_tokens=4000, # reasoning counts toward this
messages=[{"role": "user", "content": "Name three uses of a bloom filter."}],
)
print(response.choices[0].message.content)
コード内の英語のコメントは、推論もこの上限に含まれるという意味です。
openai/ はルートを選ぶためのもので、LiteLLM が BroadNet に送るのは broadnet/glm-5.3 です。ベース URL には何も付け足さないでください。エンドポイントのパスは LiteLLM の OpenAI クライアントが付けます。
LiteLLM のドキュメントによると、openai ルートは公式の OpenAI Python ライブラリを使っており、すべてのリクエストに API キーが必要です。上の例のように api_key を明示的に渡し、LiteLLM が OpenAI 本体向けの OPENAI_API_KEY を代わりに使うことがないようにしてください。レスポンスは OpenAI の形式で返るので、残りのコードは変えずに済みます。
プロキシを使う場面
1 つの Python アプリの中なら SDK で十分です。複数のアプリや言語が同じモデルを必要とする場合はプロキシが役立ちます。どのアプリも短いモデル名で 1 つの OpenAI 形式のエンドポイントを呼び、プロキシが BroadNet のキーを保持し、レート制限をかけ、使用量を記録します。アプリ側には BroadNet 固有の設定がまったく要りません。
2. プロキシサーバー
プロキシ用の追加パッケージをインストールし、config.yaml を書きます。
pip install 'litellm[proxy]'
model_list:
- model_name: glm
litellm_params:
model: openai/broadnet/glm-5.3
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY_GLM
rpm: 30
- model_name: deepseek-flash
litellm_params:
model: openai/broadnet/deepseek-v4.1-flash
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY_DEEPSEEK
rpm: 30
- model_name: qwen
litellm_params:
model: openai/broadnet/qwen3.8-27b
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY_QWEN
rpm: 30
general_settings:
master_key: os.environ/LITELLM_MASTER_KEY
起動したら、ほかの OpenAI エンドポイントと同じように呼び出します。
litellm --config config.yaml
# in a second terminal
curl http://localhost:4000/chat/completions \
-H "Authorization: Bearer $LITELLM_MASTER_KEY" \
-H "Content-Type: application/json" \
-d '{"model": "glm", "messages": [{"role": "user", "content": "Hello"}]}'
(コード内のコメントは「別のターミナルで実行」という意味です。)os.environ/BROADNET_API_KEY_GLM は、そのキーを環境変数から読むよう LiteLLM に指示します。各エントリーはそれぞれ別の BroadNet の従量課金のキーを使うので、LiteLLM のデプロイメントごとの任意のレート制限である rpm: 30 が各キーの上限に合います。複数のエントリーで 1 つのキーを共有する場合は、その 1 つの上限を共有することになるので、数値をエントリー間で分けてください。master_key を設定すると、プロキシはすべての呼び出しにキーを要求します。LiteLLM のドキュメントによると、このキーは sk- で始まる必要があります。プロキシを起動する前に LITELLM_MASTER_KEY を export してください。
モデルの選び方
| model_name | BroadNet のモデル | 用途 |
|---|---|---|
glm |
GLM 5.3 | ツール、構造化出力、100 万トークンのコンテキスト |
deepseek-flash |
DeepSeek V4.1 Flash | 長いコンテキスト。無制限プランのモデル |
qwen |
Qwen3.8 27B | 画像、ツール、アラビア語 |
| (必要に応じて追加) | Gemma 4 VL 26B | トークン単価が低い。$5 のクレジットで使える |
料金は料金ページにあります。別のゲートウェイから移行する場合は、移行チェックリストにテストすべき項目がまとまっています。
トラブルシューティング
- 401。 BroadNet のキーが間違っている、期限切れ、または従量課金の利用枠を使い切っています。401 がプロキシ自体から返っている場合は、送った LiteLLM のキーを確認してください。
- Not Found。
api_baseが/v1付きのhttps://inference.broadnet.ai/v1になっているか確認してください。ベース URL が正しければ、openai/の後のモデル ID が BroadNet のものと完全に一致しているか確認します。 - 新しいアカウントでモデルが拒否される。 GLM 5.3、Qwen3.8 27B、DeepSeek V4.1 Flash は先にチャージが必要です。$5 のクレジットで使えるのは
broadnet/gemma-4-26b-a4bと 2 つの Transcribe モデルだけです。 - content が空。 推論は
max_tokensに含まれます。値を上げるか、reasoning_effort="low"を送ってください。回答が空になる理由。 - 429。 従量課金のキーは毎分 30 リクエスト、同時実行 4 リクエストまでです。前者には LiteLLM の
rpmが役立ちます。後者については、キーごとの同時呼び出しを 4 以下に抑えてください。エラーとリトライを参照してください。 - プランのキーでエージェントを並列に動かす場合。 1 つのプランのセッションは同時に 1 リクエストしか処理しません。プロキシ経由で 1 セッションに複数のエージェントを流すと待ち行列に入るので、並列のエージェントごとに 1 セッションを購入してください。
