DSPy は、シグネチャとモジュールで言語モデルをプログラミングし、その裏にあるプロンプトを最適化するための Python フレームワークです。モデルとは dspy.LM で接続します。DSPy のドキュメントでは、OpenAI 互換サーバーは api_base 付きの openai/ モデルとして示されています。https://inference.broadnet.ai/v1 で chat completions を提供する BroadNet Inference では、さらに model_type="chat" が必要です。BroadRouter は BroadNet 自身のサイトです。この記事は DSPy 3.5 のドキュメントに沿っています。
インストール
pip install dspy
export BROADNET_API_KEY='your-broadnet-key'
接続する
import os
import dspy
lm = dspy.LM(
"openai/broadnet/glm-5.3",
model_type="chat",
api_base="https://inference.broadnet.ai/v1",
api_key=os.environ["BROADNET_API_KEY"],
max_tokens=4000,
)
dspy.configure(lm=lm)
qa = dspy.Predict("question -> answer")
print(qa(question="What is the capital of Saudi Arabia?").answer)
openai/は DSPy に OpenAI クライアントを使うよう指示します。文字列の残りのbroadnet/glm-5.3が BroadNet に送られるモデル ID です。model_type="chat"で DSPy は/v1/chat/completionsを使い続けます。DSPy の LM リファレンスによると、デフォルトの'auto'では OpenAI のモデルが “use Responses”(訳:Responses を使う)になります。max_tokensは推論の余裕を残すためのものです。DeepSeek V4.1 Flash、GLM 5.3、Qwen3.8 27B は回答の前に考え、その思考も上限に数えられます。
model_type を指定しないとどうなるか
DSPy のインストールページにある OpenAI 互換サーバーの例では、model_type が省略されています。DSPy 3.5.0 で私たちがテストしたところ、リクエストは max_output_tokens 付きで /v1/responses に送られ、呼び出しは失敗しました。
dspy.utils.exceptions.LMInvalidRequestError: [openai/broadnet/glm-5.3] /v1/responses not served
このエラーは私たちのモックサーバーが返したものです。2026-11-16 に確認したところ、BroadNet の実際のエンドポイントも /v1/responses に 404 を返しました。model_type="chat" を追加すると解決しました。
モジュールとモデル
cot = dspy.ChainOfThought("question -> answer")
print(cot(question="A train leaves at 9:40 and arrives at 13:05. How long is the trip?").answer)
| DSPy の用途 | モデル |
|---|---|
Predict、ChainOfThought、オプティマイザーの実行 |
broadnet/deepseek-v4.1-flash(トークン単価が低い。定額プランあり) |
ReAct などツールを呼び出すモジュール |
broadnet/glm-5.3 または broadnet/qwen3.8-27b |
| 初回クレジットで DSPy を試す | broadnet/gemma-4-26b-a4b(32,768 トークンのコンテキスト) |
BroadNet のドキュメントでツールと構造化出力が掲載されているのは GLM 5.3 と Qwen3.8 27B だけです。プログラムとオプティマイザーで別々のモデルを使うこともでき、それぞれに dspy.LM を用意します。全モデルの料金。
テスト方法
2026-11-15 に、クリーンな仮想環境に dspy 3.5.0 をインストールし、ローカルのモックサーバーに対して dspy.Predict を実行しました。このモックサーバーは BroadNet の chat completions の形式で応答し、/v1/responses には 404 を返します。model_type なしでは、DSPy は /v1/responses を呼んで失敗しました。model_type="chat" ありでは、モデル ID broadnet/glm-5.3 と Bearer キーを付けて /v1/chat/completions を呼び、answer フィールドを解析しました。DSPy は出力上限を max_completion_tokens として送っていました。BroadNet の API リファレンスに記載されているのは max_tokens で、max_completion_tokens には触れていないため、この形で送った上限を BroadNet が適用するかは確認できません。テストは BroadNet のキーではなくモックサーバーに対して行ったので、実際のモデル出力は確認していません。
トラブルシューティング
- /v1/responses で 404。
model_type="chat"を追加してください。 - /v1/chat/completions で 404。
api_baseは/v1で終わる必要があり、モデルの文字列はopenai/に完全な BroadNet の ID を続けたものでなければなりません。有料モデルにはチャージが必要です。$5 のクレジットで使えるのはbroadnet/gemma-4-26b-a4bと 2 つの Transcribe モデルだけです。 - “Expected to find output fields”。 回答が空か途中で切れています。推論が出力の上限を使い切ったことが原因の場合が多いです。
max_tokensを大きくしてください。回答が空で返ってくる理由。 - 最適化中に 429。 従量課金のキーでは 1 分あたり 30 リクエスト、処理中のリクエストは同時に 4 個までです。オプティマイザーのスレッド数を減らし、エラーとリトライを参照してください。
