Vercel の AI SDK は、LLM アプリ向けの TypeScript ツールキットです。@ai-sdk/openai-compatible パッケージは、OpenAI の chat completions 形式に従う任意の API 用のプロバイダーを作成します。BroadNet Inference もこの形式に従っているので、変えるのはベース URL、キー、モデル ID だけです。素の OpenAI クライアントを使う場合は、Node SDK のガイドを参照してください。
設定手順
-
パッケージをインストールします。 執筆時点で npm から入るのは
ai7.x と@ai-sdk/openai-compatible3.x です。npm install ai @ai-sdk/openai-compatible export BROADNET_API_KEY='your-broadnet-key' -
プロバイダーを作成します。
// broadnet.ts import { createOpenAICompatible } from '@ai-sdk/openai-compatible'; export const broadnet = createOpenAICompatible({ name: 'broadnet', baseURL: 'https://inference.broadnet.ai/v1', apiKey: process.env.BROADNET_API_KEY, includeUsage: true, // usage data in streaming responses }); -
テキストを生成します。
import { generateText } from 'ai'; import { broadnet } from './broadnet'; const { text, usage, finishReason } = await generateText({ model: broadnet('broadnet/glm-5.3'), prompt: 'Explain idempotency keys in two sentences.', maxOutputTokens: 4000, // reasoning counts toward this }); console.log(text, finishReason, usage);
コード内の英語のコメントは、それぞれ「ストリーミングのレスポンスに使用量のデータを含める」「推論もこの上限に含まれる」という意味です。
- ストリーミングにします。
generateTextをstreamTextに替えて、textStreamを読み取ります。その下で使われている通信形式はストリーミングのガイドで説明しています。
渡した name はプロバイダーオプションとプロバイダーメタデータのキーになるので、短く、変わらない名前にしてください。provider('id') と provider.chatModel('id') はどちらもチャットモデルを作成し、モデルごとの個別の設定はありません。キーはサーバー側に置いてください。このファイルをブラウザで動くコードに import すると、キーがすべての訪問者に送られてしまいます。
プロバイダーのドキュメントでは、対応機能としてテキスト生成、ストリーミング、ツール呼び出し、構造化出力、推論の内容、画像入力が挙げられており、一部はプロバイダー次第と注記されています。BroadNet では、DeepSeek V4.1 Flash、Qwen3.8 27B、Gemma 4 VL 26B が画像入力に対応し、GLM 5.3 はテキストのみです。
設定しておきたいオプション
- reasoningEffort。 プロバイダー名をキーにして
providerOptionsで渡します。AI SDK のドキュメントによると、指定できる値はプロバイダーによって異なります。BroadNet のドキュメントにはlowが載っています。
const result = await generateText({
model: broadnet('broadnet/deepseek-v4.1-flash'),
prompt: 'Classify: "refund my order" -> intent?',
providerOptions: { broadnet: { reasoningEffort: 'low' } },
});
- supportsStructuredOutputs。 AI SDK は、プロバイダーでこれが
trueのときだけ JSON スキーマを送ります。BroadNet が構造化出力を記載しているのは GLM 5.3 と Qwen3.8 27B です。オンにする場合は、スキーマ付きの出力にはこれらのモデルを使ってください。 - maxRetries。
generateTextはデフォルトで 2 回リトライします。レート制限に合わせて設定してください。 - 推論の出力。 プロバイダーが推論の内容を返すと、AI SDK はそれを読み取ります。トップレベルの結果フィールド
reasoningTextは非推奨となり、finalStep.reasoningTextに置き換えられています。推論の内容が必ずあることを前提にしたロジックは組まないでください。
モデルの選び方
| 用途 | モデル | コンテキスト |
|---|---|---|
| ツール呼び出し、構造化出力 | broadnet/glm-5.3 |
1,048,576 |
| 画像とツール、アラビア語 | broadnet/qwen3.8-27b |
262,144 |
| 長いコンテキスト、定額プラン | broadnet/deepseek-v4.1-flash |
1,048,576 |
| 安価なテキストと画像の呼び出し | broadnet/gemma-4-26b-a4b |
32,768 |
各モデルのトークン単価は料金ページにあります。
トラブルシューティング
- 401。 実行環境に
BROADNET_API_KEYがない(ホスティング先の環境変数の設定を確認してください)、キーが間違っている、期限切れ、または従量課金の利用枠を使い切っています。 - providerOptions が無視される。 キーはプロバイダーの
nameをキャメルケースにしたものと一致している必要があります。name: 'broadnet'ならproviderOptions.broadnetを使います。 - モデルのエラー。 ID は
broadnet/プレフィックスを含めて BroadNet のものと完全に一致している必要があります。GLM 5.3、Qwen3.8 27B、DeepSeek V4.1 Flash にはチャージが必要です。$5 の初回クレジットで使えるのは Gemma 4 VL 26B と 2 つの Transcribe モデルです。 - テキストが空で finishReason が “length”。 推論が予算を使い切っています。
maxOutputTokensを上げるか、reasoningEffortを下げてください。回答が空になる理由。 - 負荷がかかると 429。 従量課金のキーは毎分 30 リクエスト、同時実行 4 リクエストまでです。サーバーレス関数はすぐにスケールアウトするので、アプリ側で同時実行数に上限を設けてください。エラーとリトライを参照してください。
- プランのキーでエージェントを並列に動かす場合。 1 つの無制限プランのセッションは同時に 1 リクエストしか処理しません。
Promise.allで複数のエージェントを動かすなら、エージェントごとに 1 セッションが必要です。そうしないとリクエストは待ち行列に入ります。
