BroadRouter
始める

promptfoo で BroadNet のモデルを評価する

更新日

promptfooconfig.yaml に id が openai:chat:broadnet/glm-5.3 のプロバイダーを追加し、config で apiBaseUrl を https://inference.broadnet.ai/v1、apiKeyEnvar を BROADNET_API_KEY に設定します。openai:chat の接頭辞を使えば、promptfoo は常に BroadNet が提供する Chat Completions を呼び出します。promptfoo のデフォルトの出力上限は 1,024 トークンなので、max_tokens は自分で設定してください。

promptfoo は、プロンプトのテスト、モデルの比較、LLM アプリのレッドチーミングを行うオープンソースの CLI です。OpenAI プロバイダーは apiBaseUrl を使って OpenAI 互換のゲートウェイで動きます。BroadNet Inference は https://inference.broadnet.ai/v1 でチャット補完を提供しているので、1 つの YAML ファイルで BroadNet のモデル同士や、すでに使っているモデルとの比較ができます。BroadRouter は BroadNet 自身のサイトです。この記事はリリース 0.125.1 時点の promptfoo の OpenAI プロバイダーのドキュメントに従っています。

セットアップ

npm install -g promptfoo     # or: npx promptfoo@latest
export BROADNET_API_KEY='your-broadnet-key'

promptfooconfig.yaml

description: BroadNet model comparison
prompts:
  - 'What is the capital of Saudi Arabia? Answer in one sentence.'
providers:
  - id: openai:chat:broadnet/glm-5.3
    label: GLM 5.3
    config:
      apiBaseUrl: https://inference.broadnet.ai/v1
      apiKeyEnvar: BROADNET_API_KEY
      max_tokens: 4000
  - id: openai:chat:broadnet/deepseek-v4.1-flash
    label: DeepSeek V4.1 Flash
    config:
      apiBaseUrl: https://inference.broadnet.ai/v1
      apiKeyEnvar: BROADNET_API_KEY
      omitDefaults: true
tests:
  - assert:
      - type: icontains
        value: Riyadh

実際の設定では、テストの入力を tests.vars に置き、promptfoo の二重波かっこのテンプレート構文でプロンプトから参照するのが一般的です。ここではそのまま動くように固定の内容にしています。

実行します。

promptfoo eval
promptfoo view   # side-by-side results in the browser

各設定の役割

  • openai:chat: と BroadNet の ID。 openai:chat: より後ろはすべて送信されるモデル ID になるので、broadnet/ の接頭辞は残してください。chat を明示すると Chat Completions のエンドポイントに固定されます。BroadNet は Responses API を提供していません。
  • apiBaseUrl は /v1 までのベース URL で、/chat/completions は含めません。パスは promptfoo が付け足します。
  • apiKeyEnvar には BroadNet のキーを入れた環境変数の名前を指定します。その変数がなくても、promptfoo は OPENAI_API_KEY にフォールバックしません。
  • max_tokens。推論モデル以外へのリクエストに対する promptfoo のデフォルトは、temperature: 0 と 1,024 トークンの上限です。BroadNet の DeepSeek、GLM、Qwen の各モデルは回答の前に推論(reasoning)を行うので、1,024 では回答が空になることがあります。1 つ目のプロバイダーのように、より高い上限を設定してください。
  • omitDefaults: true は、2 つ目のプロバイダーのように、promptfoo のデフォルトの temperature と上限を外します。この場合、リクエストには promptfoo 由来の出力上限が付きません。

モデルによる採点のアサーション

プロバイダーの設定は、llm-rubric のような採点モデルには適用されません。BroadNet のモデルで採点するには、採点用にもう一度追加します。

defaultTest:
  options:
    provider:
      id: openai:chat:broadnet/glm-5.3
      config:
        apiBaseUrl: https://inference.broadnet.ai/v1
        apiKeyEnvar: BROADNET_API_KEY
        max_tokens: 4000

どのモデルを比較するか

モデル 向いている用途
broadnet/glm-5.3 ツール呼び出しと構造化出力のテスト
broadnet/qwen3.8-27b 画像、アラビア語のテキスト、ツールを使うテスト
broadnet/deepseek-v4.1-flash 長いコンテキストやコストを重視するテスト
broadnet/gemma-4-26b-a4b $5 の初回クレジットでの無料テスト

BroadNet のドキュメントでツールと構造化出力が記載されているのは GLM 5.3 と Qwen3.8 27B だけです。全モデルの料金。

テストの方法

2026-11-15 に Node 24 で promptfoo 0.125.1 をインストールし、上と同様の設定で promptfoo eval を実行しました。接続先は、BroadNet のチャット補完と同じ形式で応答するローカルのモックサーバーです。テストは成功しました。記録されたリクエストは /v1/chat/completions に送られ、BroadNet のモデル ID は変更されず、Bearer キーが付いていました。1 つ目のプロバイダーは max_tokens: 4000 と temperature: 0 を送り、omitDefaults: true のプロバイダーはモデルとメッセージだけを送りました。BROADNET_API_KEY を設定しない状態では、promptfoo は “Missing BROADNET_API_KEY” と表示して停止しました。採点モデルはテストしていません。また BroadNet のキーを持っていなかったため、実際のモデルの出力もテストしていません。

トラブルシューティング

  • 出力が空、または途中で切れる。 max_tokens を上げてください。回答が空になる理由。
  • 404。 apiBaseUrl が /v1 で終わっているか、openai:chat: の後ろのモデル ID に broadnet/ の接頭辞が残っているか確認してください。有料モデルにはチャージが必要です。$5 のクレジットで使えるのは broadnet/gemma-4-26b-a4b と 2 つの Transcribe モデルだけです。
  • 大規模な評価で 429。 私たちの評価では、promptfoo は同時実行数 4 で動きました。従量課金のキーは毎分 30 リクエスト、同時 4 リクエストまでなので、大きなテストセットでは promptfoo eval -j 1 で同時実行数を下げてください。エラーとリトライを参照してください。

よくある質問

promptfoo のプロバイダーの接頭辞は openai:chat と openai のどちらを使うべきですか?

openai:chat です。openai:chat:broadnet/glm-5.3 なら、promptfoo は BroadNet が提供している /v1/chat/completions を呼び出します。promptfoo のドキュメントによると、接頭辞が openai だけでも、認識できないモデル名なら Chat Completions にフォールバックしますが、chat を明示すればこのルールに頼らずに済みます。

promptfoo で BroadNet の回答が途中で切れるのはなぜですか?

promptfoo は推論モデル以外へのリクエストに、デフォルトで 1,024 トークンの出力上限を設定します。一方、BroadNet の DeepSeek、GLM、Qwen の各モデルは出力の上限の一部を推論(reasoning)に使います。プロバイダーの config で max_tokens を設定するか、omitDefaults を true にしてください。

apiKeyEnvar の変数がないとき、OPENAI_API_KEY にフォールバックしますか?

しません。promptfoo のドキュメントによると、指定した変数がない場合でも OPENAI_API_KEY にはフォールバックしません。私たちのテストでは "Missing BROADNET_API_KEY" と表示して停止しました。

llm-rubric のアサーションを BroadNet のモデルで採点できますか?

できます。ただし promptfoo のドキュメントによると、プロバイダーの設定は採点モデルには適用されません。defaultTest.options.provider の下で、同じ id と config を使って採点モデルを別途設定してください。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く