BroadRouter

LLM ルーター(LLM router)

更新日

LLM ルーターとは、アプリと 1 つ以上の言語モデル API の間に入り、コスト、レイテンシ、可用性、タスクの種類などのルールに基づいて、リクエストごとにどのモデルやプロバイダーが処理するかを決めるソフトウェアまたはサービスです。

別名: LLM ルーター、モデルルーター、AI ゲートウェイ、LLM ゲートウェイ、LLM アグリゲーター、LLM router、AI gateway、LLM gateway、model router、LLM aggregator

1 つのモデルとだけやり取りするアプリにルーターは不要です。ルーターが登場するのは、チームが複数のモデルやプロバイダーを使い、どれを使うかを 1 か所で決めたいときです。

仕組み

アプリは OpenAI 形式のリクエストをルーターに送ります。ルーターはルールを適用してバックエンドに転送し、同じ形式で回答を返します。よくある種類は 3 つです。

  • ホスト型アグリゲーター。 たとえば OpenRouter は https://openrouter.ai/api/v1 で “hundreds of AI models through a single API endpoint”(訳:単一の API エンドポイントで数百の AI モデル)を提供し、自動フォールバックも備えています。利用者が持つのはキー 1 つと請求書 1 通で、各プロバイダーのアカウントはアグリゲーターが持ちます。
  • セルフホストのゲートウェイ。 LiteLLM Router は自社のインフラで動きます。トラフィックを複数のデプロイメントに分散し(デフォルトは単純なシャッフル、ほかにレイテンシ、使用量、コストに基づく方式)、レート制限エラーを指数バックオフでリトライし、429 や高い失敗率の後はデプロイメントをクールダウンさせます。
  • モデル選択型ルーター。 RouteLLM などの研究では分類器を学習させ、簡単なプロンプトは安いモデルに、難しいものは強いモデルに送って、品質を落とさずにコストを下げます。

セルフホストのゲートウェイは、バックエンドのリストとして設定します。次の LiteLLM のエントリは、OpenAI 互換のプロバイダーを 1 つ追加するものです。

model_list:
  - model_name: flash
    litellm_params:
      model: openai/broadnet/deepseek-v4.1-flash
      api_base: https://inference.broadnet.ai/v1
      api_key: os.environ/BROADNET_API_KEY

なぜ重要か

  • 信頼性。 あるプロバイダーが 429 や 5xx を返したとき、ルーターは別のプロバイダーに切り替えられます。レート制限を参照してください。
  • コスト。 単純なプロンプトを安いモデルに送れば、請求額を下げられます。
  • 統合が 1 つで済む。 コードは 1 つのベース URL と 1 つのキー形式だけを扱います。

トレードオフも現実にあります。ルーターはネットワークホップを 1 つ増やします。ホスト型ルーターはプロンプトを見る第三者がもう 1 つ増えることを意味し、データ保持はルーターと、ルーターが選んだプロバイダーの両方に左右されます。モデルごとにトークナイザー、推論(reasoning)の挙動、対応パラメータも違うため、黙って行われるフォールバックで回答が変わることがあります。

BroadNet Inference の場合

BroadNet Inference はルーターではありません。https://inference.broadnet.ai/v1 で短いモデル一覧を提供する単一のプロバイダーで、BroadNet の利用規約によると、モデルは BroadNet が所有またはリースする米国のハードウェア、あるいは米国の推論パートナーのもとで動いています。プロバイダーをまたいだ自動ルーティングやフォールバックはありません。モデルはリクエストごとに、たとえば broadnet/deepseek-v4.1-flash や broadnet/glm-5.3 のように自分で選びます。

API が OpenAI 互換なので、ルーターの背後に 1 つのバックエンドとして置けます。設定方法は LiteLLM プロキシのガイドにあります。ルーターと定額プロバイダーの比較は、エージェント向けの OpenRouter の代替を読んでください。BroadNet はプロンプトや出力を保持しません。前段にホスト型ルーターを加える場合は、そちらのデータ保持も確認してください。

よくある間違い

  • 401 や 403 を別のプロバイダーでリトライする。これはキーやポリシーのエラーなので、先に原因を直してください。エラーコードとリトライを参照してください。
  • モデル名を交換可能なものとして扱う。フォールバック先のモデルは、それぞれ自分のプロンプトでテストしてください。

よくある質問

LLM ルーターはロードバランサーと同じですか?

ロードバランサーはルーターの一部です。ルーターはさらに、タスクに応じて別のモデルを選んだり、エラー後に別のプロバイダーへフォールバックしたり、API 形式を変換したりできます。単純なロードバランサーは、同一のサーバー間でトラフィックを分散するだけです。

ルーターを挟むとレイテンシは増えますか?

通常は少し増えます。リクエストのネットワークホップが 1 つ増え、ルーターが中身を検査することもあるからです。フォールバックでは、リトライの前に失敗した試行が入るため、さらに増えることがあります。ルーターの有無で最初のトークンまでの時間を測ってください。

BroadNet Inference は LLM ルーターですか?

いいえ。このサイトの名前とは異なり、BroadNet Inference は単一のプロバイダーです。BroadNet の利用規約によると、モデルは BroadNet が所有またはリースする米国のハードウェア、あるいは米国の推論パートナーのもとで動いています。モデルはリクエストごとに自分で選びます。ルーターの背後に、プロバイダーの 1 つとして置くことはできます。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く