BroadRouter

LlamaIndex で OpenAILike を使って BroadNet Inference に接続する

更新日

llama-index-llms-openai-like をインストールし、OpenAILike を作成します。model に broadnet/glm-5.3 などの BroadNet の ID、api_base に https://inference.broadnet.ai/v1、BroadNet のキー、context_window にモデルの実際のコンテキスト長を指定し、is_chat_model=True とします。is_function_calling_model=True は GLM 5.3 か Qwen3.8 27B のときだけです。Settings.llm に設定すればアプリ全体で使えます。

LlamaIndex は、RAG とエージェントのための Python フレームワークです。OpenAI 本体ではない OpenAI 互換 API 向けに、OpenAILike クラスが用意されています。BroadNet Inference は https://inference.broadnet.ai/v1 で標準的な chat completions を提供しています。BroadRouter は BroadNet 自身のサイトです。この記事は llama-index-llms-openai-like 0.9.0 の LlamaIndex API リファレンスに基づいています。

インストール

pip install llama-index-llms-openai-like
export BROADNET_API_KEY='your-broadnet-key'

接続してテストする

import os
from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    model="broadnet/glm-5.3",
    api_base="https://inference.broadnet.ai/v1",
    api_key=os.environ["BROADNET_API_KEY"],
    context_window=1048576,
    is_chat_model=True,
    is_function_calling_model=True,
    max_tokens=2000,  # reasoning counts toward this limit
)

print(llm.complete("Name three uses for a vector index."))

回答が表示されれば、キー、URL、モデル ID は正しく設定されています。

重要な 4 つの設定

パラメーター 設定値 指定しない場合のデフォルト
is_chat_model True False。従来の completions エンドポイントを使うが、BroadNet が提供するのは chat completions
context_window モデルの実際のコンテキスト長 3,900 トークン
is_function_calling_model GLM 5.3 か Qwen3.8 27B のときだけ True False
max_tokens 1,000 以上 None(送信されないので、サーバーが決める)

最も重要なのは is_chat_model です。API リファレンスには「controls whether the model uses the chat or completion endpoint」(訳:モデルが chat エンドポイントと completion エンドポイントのどちらを使うかを制御する)とあり、デフォルトは false です。BroadNet のドキュメントに記載されているのは /v1/chat/completions で、従来の completions エンドポイントではありません。

アプリ全体で使う

from llama_index.core import Settings

Settings.llm = llm

これでクエリエンジン、チャットエンジン、エージェントが BroadNet を使います。埋め込みは別です。BroadNet の API リファレンスには embeddings エンドポイントが記載されていないので、インデックス作成には別の埋め込みモデルを使い続けてください。

コンテキストウィンドウ

モデル ID context_window ツール
GLM 5.3 broadnet/glm-5.3 1048576 あり
DeepSeek V4.1 Flash broadnet/deepseek-v4.1-flash 1048576 記載なし
Qwen3.8 27B broadnet/qwen3.8-27b 262144 あり
BroadNet Gemma 4 VL 26B broadnet/gemma-4-26b-a4b 32768 記載なし

1M トークンのコンテキストがあれば、クエリエンジンは 1 回の呼び出しでずっと多くの検索チャンクを渡せます。ただし、それが常に良いとは限りません。ロングコンテキストと RAG の比較を参照してください。

トラブルシューティング

  • 401。 キーが間違っている、期限切れ、または利用枠を使い切っています。
  • 404。 api_base は /v1 で終わり、is_chat_model は True である必要があります。そのうえでモデル ID を確認してください。有料モデルにはチャージが必要です。$5 のクレジットで使えるのは broadnet/gemma-4-26b-a4b と 2 つの Transcribe モデルだけです。
  • 回答が空になる。 出力の上限を推論で使い切っています。max_tokens を上げてください。回答が空で返ってくる理由。
  • エージェントがツールを呼ばない。 is_function_calling_model=True を設定し、broadnet/glm-5.3 か broadnet/qwen3.8-27b を使ってください。
  • 取り込みやバッチクエリの最中に 429 になる。 従量課金のキーでは 1 分あたり 30 リクエスト、処理中のリクエストは同時に 4 個までです。OpenAILike はデフォルトで 3 回リトライします(max_retries)。エラーとリトライを参照してください。

よくある質問

LlamaIndex の OpenAI クラスで api_base だけ変えるのではだめですか?

LlamaIndex 自身の OpenAI のページでは、公式の OpenAI API ではない OpenAI 互換 API には OpenAILike インテグレーションを使うよう案内しています。OpenAILike なら、コンテキストウィンドウやツール対応を自分で宣言することもできます。

context_window を省略するとどうなりますか?

OpenAILike のデフォルトは 3,900 トークンなので、LlamaIndex はプロンプトや検索したチャンクを、BroadNet のモデルが受け付ける長さよりはるかに短く切り詰めてしまいます。GLM 5.3 と DeepSeek V4.1 Flash は 1048576、Qwen3.8 27B は 262144 に設定してください。

LlamaIndex の FunctionAgent で BroadNet を使えますか?

使えます。BroadNet がツールを記載しているモデル(GLM 5.3 か Qwen3.8 27B)で is_function_calling_model=True にしてください。DeepSeek V4.1 Flash では、BroadNet のドキュメントにツール呼び出しの記載がないため False のままにします。

BroadNet は LlamaIndex のインデックス用に埋め込みを提供していますか?

BroadNet の API リファレンスに記載されているのは chat completions と音声の文字起こしで、埋め込み(embeddings)はありません。インデックスには別の埋め込みモデルを使い、LLM に BroadNet を使ってください。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く