1 つのモデルとだけやり取りするアプリにルーターは不要です。ルーターが登場するのは、チームが複数のモデルやプロバイダーを使い、どれを使うかを 1 か所で決めたいときです。
仕組み
アプリは OpenAI 形式のリクエストをルーターに送ります。ルーターはルールを適用してバックエンドに転送し、同じ形式で回答を返します。よくある種類は 3 つです。
- ホスト型アグリゲーター。 たとえば OpenRouter は
https://openrouter.ai/api/v1で “hundreds of AI models through a single API endpoint”(訳:単一の API エンドポイントで数百の AI モデル)を提供し、自動フォールバックも備えています。利用者が持つのはキー 1 つと請求書 1 通で、各プロバイダーのアカウントはアグリゲーターが持ちます。 - セルフホストのゲートウェイ。 LiteLLM Router は自社のインフラで動きます。トラフィックを複数のデプロイメントに分散し(デフォルトは単純なシャッフル、ほかにレイテンシ、使用量、コストに基づく方式)、レート制限エラーを指数バックオフでリトライし、429 や高い失敗率の後はデプロイメントをクールダウンさせます。
- モデル選択型ルーター。 RouteLLM などの研究では分類器を学習させ、簡単なプロンプトは安いモデルに、難しいものは強いモデルに送って、品質を落とさずにコストを下げます。
セルフホストのゲートウェイは、バックエンドのリストとして設定します。次の LiteLLM のエントリは、OpenAI 互換のプロバイダーを 1 つ追加するものです。
model_list:
- model_name: flash
litellm_params:
model: openai/broadnet/deepseek-v4.1-flash
api_base: https://inference.broadnet.ai/v1
api_key: os.environ/BROADNET_API_KEY
なぜ重要か
- 信頼性。 あるプロバイダーが 429 や 5xx を返したとき、ルーターは別のプロバイダーに切り替えられます。レート制限を参照してください。
- コスト。 単純なプロンプトを安いモデルに送れば、請求額を下げられます。
- 統合が 1 つで済む。 コードは 1 つのベース URL と 1 つのキー形式だけを扱います。
トレードオフも現実にあります。ルーターはネットワークホップを 1 つ増やします。ホスト型ルーターはプロンプトを見る第三者がもう 1 つ増えることを意味し、データ保持はルーターと、ルーターが選んだプロバイダーの両方に左右されます。モデルごとにトークナイザー、推論(reasoning)の挙動、対応パラメータも違うため、黙って行われるフォールバックで回答が変わることがあります。
BroadNet Inference の場合
BroadNet Inference はルーターではありません。https://inference.broadnet.ai/v1 で短いモデル一覧を提供する単一のプロバイダーで、BroadNet の利用規約によると、モデルは BroadNet が所有またはリースする米国のハードウェア、あるいは米国の推論パートナーのもとで動いています。プロバイダーをまたいだ自動ルーティングやフォールバックはありません。モデルはリクエストごとに、たとえば broadnet/deepseek-v4.1-flash や broadnet/glm-5.3 のように自分で選びます。
API が OpenAI 互換なので、ルーターの背後に 1 つのバックエンドとして置けます。設定方法は LiteLLM プロキシのガイドにあります。ルーターと定額プロバイダーの比較は、エージェント向けの OpenRouter の代替を読んでください。BroadNet はプロンプトや出力を保持しません。前段にホスト型ルーターを加える場合は、そちらのデータ保持も確認してください。
よくある間違い
- 401 や 403 を別のプロバイダーでリトライする。これはキーやポリシーのエラーなので、先に原因を直してください。エラーコードとリトライを参照してください。
- モデル名を交換可能なものとして扱う。フォールバック先のモデルは、それぞれ自分のプロンプトでテストしてください。