BroadRouter

Paano gamitin ang Vercel AI SDK sa BroadNet Inference

Na-update

I-install ang ai at @ai-sdk/openai-compatible, saka tawagin ang createOpenAICompatible na may name na broadnet, baseURL na https://inference.broadnet.ai/v1 at BroadNet key mo bilang apiKey. Ipasa sa provider ang isang BroadNet model ID gaya ng broadnet/glm-5.3, at gamitin ang generateText o streamText gaya ng dati. Itago sa server ang key, at bigyan ng maluwag na maxOutputTokens ang mga reasoning model.

Ang AI SDK ng Vercel ay isang TypeScript toolkit para sa mga LLM app. Gumagawa ang @ai-sdk/openai-compatible package nito ng provider para sa kahit anong API na sumusunod sa format ng OpenAI chat completions. Sumusunod dito ang BroadNet Inference, kaya base URL, key at mga model ID lang ang papalitan mo. Kung ang simpleng OpenAI client ang gusto mo, tingnan ang gabay sa Node SDK.

Setup

  1. I-install ang mga package. Sa oras ng pagsulat nito, ai 7.x at @ai-sdk/openai-compatible 3.x ang ibinibigay ng npm.

    npm install ai @ai-sdk/openai-compatible
    export BROADNET_API_KEY='your-broadnet-key'
  2. Gawin ang provider. Ilagay ito sa file na broadnet.ts. Ang includeUsage: true ang nagdadagdag ng usage data sa mga streaming response.

    // broadnet.ts
    import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
    
    export const broadnet = createOpenAICompatible({
      name: 'broadnet',
      baseURL: 'https://inference.broadnet.ai/v1',
      apiKey: process.env.BROADNET_API_KEY,
      includeUsage: true, // usage data in streaming responses
    });
  3. Bumuo ng text. Kasama ang reasoning sa maxOutputTokens, kaya maluwag ang 4000 sa example.

    import { generateText } from 'ai';
    import { broadnet } from './broadnet';
    
    const { text, usage, finishReason } = await generateText({
      model: broadnet('broadnet/glm-5.3'),
      prompt: 'Explain idempotency keys in two sentences.',
      maxOutputTokens: 4000, // reasoning counts toward this
    });
    
    console.log(text, finishReason, usage);
  4. I-stream ito. Palitan ang generateText ng streamText at basahin ang textStream. Ipinapaliwanag ng streaming guide ang wire format sa ilalim nito.

Ang name na ipapasa mo ang magiging key para sa provider options at provider metadata, kaya panatilihin itong maikli at hindi nagbabago. Parehong gumagawa ng chat model ang provider('id') at provider.chatModel('id'); walang hiwalay na setup kada model. Itago sa server ang key. Huwag i-import ang file na ito sa code na tumatakbo sa browser, kundi mapapasa ang key sa bawat bisita.

Nakalista sa provider docs bilang suportadong kakayahan ang text generation, streaming, tool calling, structured outputs, reasoning content at image input, na may paalalang nakadepende sa provider ang ilan. Sa BroadNet, gumagana ang image input sa DeepSeek V4.1 Flash, Qwen3.8 27B at Gemma 4 VL 26B. Text lang ang tinatanggap ng GLM 5.3.

Mga option na dapat i-set

  • reasoningEffort. Ipasa ito sa providerOptions, gamit ang pangalan ng provider bilang key. Ayon sa docs ng AI SDK, nakadepende sa provider ang eksaktong mga value; low ang ipinapakita sa docs ng BroadNet.
const result = await generateText({
  model: broadnet('broadnet/deepseek-v4.1-flash'),
  prompt: 'Classify: "refund my order" -> intent?',
  providerOptions: { broadnet: { reasoningEffort: 'low' } },
});
  • supportsStructuredOutputs. Nagpapadala lang ang AI SDK ng JSON schema kapag true ito sa provider. Nakalista sa BroadNet ang structured output para sa GLM 5.3 at Qwen3.8 27B. Kung io-on mo ito, gamitin ang mga model na iyon para sa schema output.
  • maxRetries. Dalawang beses nagre-retry ang generateText bilang default. I-set ito ayon sa rate limit mo.
  • Reasoning output. Binabasa ng AI SDK ang reasoning content kapag ibinabalik ito ng provider. Minarkahan nang deprecated ang top-level na reasoningText na field ng resulta, kapalit ng finalStep.reasoningText. Huwag gumawa ng logic na umaasang laging may reasoning.

Aling model ang pipiliin

Kailangan Model Context
Tool calling, structured output broadnet/glm-5.3 1,048,576
Mga larawan at tools, Arabic broadnet/qwen3.8-27b 262,144
Mahabang context, flat-rate na plan broadnet/deepseek-v4.1-flash 1,048,576
Murang text at image call broadnet/gemma-4-26b-a4b 32,768

Nasa pricing page ang per-token na presyo ng bawat model.

Troubleshooting

  • 401. Wala ang BROADNET_API_KEY sa runtime (tingnan ang env settings ng hosting provider mo), o mali, expired, o ubos na ang pay-as-you-go allowance.
  • Hindi pinapansin ang providerOptions. Kailangang tugma ang key sa name ng provider sa camelCase. Kung name: 'broadnet', gamitin ang providerOptions.broadnet.
  • Mga error sa model. Kailangang eksaktong tugma ang ID sa BroadNet, kasama ang broadnet/ prefix. Kailangan ng top-up para sa GLM 5.3, Qwen3.8 27B at DeepSeek V4.1 Flash; ang Gemma 4 VL 26B at ang dalawang Transcribe model ang sakop ng $5 na panimulang credit.
  • Walang lamang text, finishReason “length”. Naubos ng reasoning ang budget. Taasan ang maxOutputTokens o babaan ang reasoningEffort. Bakit walang laman ang mga sagot.
  • 429 kapag mabigat ang load. Ang isang pay-as-you-go key ay may 30 request kada minuto at 4 na sabay-sabay. Mabilis mag-scale out ang mga serverless function, kaya lagyan ng limit ang concurrency sa app mo. Tingnan ang errors and retries.
  • Parallel na agent sa isang plan key. Isang request lang sa isang pagkakataon ang pinapatakbo ng isang session ng unlimited na plan. Kapag nag-Promise.all ka sa ilang agent, kailangan ng isang session kada agent, kundi pipila ang mga request.

Mga tanong

@ai-sdk/openai o @ai-sdk/openai-compatible ba ang dapat kong gamitin?

Gamitin ang @ai-sdk/openai-compatible para sa mga third-party na OpenAI-compatible na API. Tinatawag nito ang chat completions endpoint, na siyang sine-serve ng BroadNet Inference.

Bakit walang laman ang nabuong text?

Sa BroadNet, kasama ang reasoning sa max_tokens. Kung maliit ang maxOutputTokens, puwede itong maubos lahat ng model bago pa magsimula ang sagot. Taasan ito o i-set ang reasoningEffort sa low.

Paano ko makukuha ang token usage habang nag-i-stream?

I-set ang includeUsage sa true kapag ginagawa ang provider. Ayon sa docs ng AI SDK, nagdadagdag ito ng usage data sa mga streaming response. False ang default nito.

Kailangan ko ba ng hiwalay na setup para sa bawat model ng BroadNet?

Hindi. Sakop ng iisang createOpenAICompatible provider ang bawat model. Tawagin ang broadnet('model-id') o broadnet.chatModel('model-id') gamit ang kahit anong chat model ID ng BroadNet.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity