BroadRouter

Cara guna Vercel AI SDK dengan BroadNet Inference

Dikemas kini

Pasang ai dan @ai-sdk/openai-compatible, kemudian panggil createOpenAICompatible dengan name broadnet, baseURL https://inference.broadnet.ai/v1 dan kunci BroadNet anda sebagai apiKey. Hantar ID model BroadNet seperti broadnet/glm-5.3 kepada penyedia, dan guna generateText atau streamText seperti biasa. Simpan kunci di pelayan, dan beri model penaakulan maxOutputTokens yang besar.

AI SDK daripada Vercel ialah kit alatan TypeScript untuk aplikasi LLM. Pakej @ai-sdk/openai-compatible mencipta penyedia untuk sebarang API yang mengikut format chat completions OpenAI. BroadNet Inference mengikut format itu, jadi anda hanya menukar base URL, kunci dan ID model. Jika anda mahukan klien OpenAI biasa, lihat panduan Node SDK.

Persediaan

  1. Pasang pakej. Semasa artikel ini ditulis, npm menyediakan ai 7.x dan @ai-sdk/openai-compatible 3.x.

    npm install ai @ai-sdk/openai-compatible
    export BROADNET_API_KEY='your-broadnet-key'
  2. Cipta penyedia. Letakkan kod ini dalam fail broadnet.ts. includeUsage: true menambah data usage pada respons penstriman.

    // broadnet.ts
    import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
    
    export const broadnet = createOpenAICompatible({
      name: 'broadnet',
      baseURL: 'https://inference.broadnet.ai/v1',
      apiKey: process.env.BROADNET_API_KEY,
      includeUsage: true, // usage data in streaming responses
    });
  3. Jana teks. Penaakulan dikira dalam maxOutputTokens, sebab itu contoh ini memberi 4000.

    import { generateText } from 'ai';
    import { broadnet } from './broadnet';
    
    const { text, usage, finishReason } = await generateText({
      model: broadnet('broadnet/glm-5.3'),
      prompt: 'Explain idempotency keys in two sentences.',
      maxOutputTokens: 4000, // reasoning counts toward this
    });
    
    console.log(text, finishReason, usage);
  4. Strim. Tukar generateText kepada streamText dan baca textStream. Panduan penstriman menerangkan format wayar di bawahnya.

name yang anda hantar menjadi kunci untuk provider options dan provider metadata, jadi pastikan ia pendek dan tidak berubah. provider('id') dan provider.chatModel('id') kedua-duanya mencipta model chat; tiada persediaan berasingan bagi setiap model. Simpan kunci di pelayan. Jangan import fail ini ke dalam kod yang berjalan dalam pelayar, atau kunci itu akan dihantar kepada setiap pelawat.

Dokumentasi penyedia menyenaraikan penjanaan teks, penstriman, tool calling, structured outputs, reasoning content dan input imej sebagai keupayaan yang disokong, dengan nota bahawa sesetengahnya bergantung pada penyedia. Di BroadNet, input imej berfungsi dengan DeepSeek V4.1 Flash, Qwen3.8 27B dan Gemma 4 VL 26B. GLM 5.3 menerima teks sahaja.

Pilihan yang patut ditetapkan

  • reasoningEffort. Hantarkannya melalui providerOptions, dikunci dengan nama penyedia. Dokumentasi AI SDK menyatakan nilai tepatnya bergantung pada penyedia; dokumentasi BroadNet menunjukkan low.
const result = await generateText({
  model: broadnet('broadnet/deepseek-v4.1-flash'),
  prompt: 'Classify: "refund my order" -> intent?',
  providerOptions: { broadnet: { reasoningEffort: 'low' } },
});
  • supportsStructuredOutputs. AI SDK hanya menghantar skema JSON apabila nilai ini true pada penyedia. BroadNet menyenaraikan output berstruktur untuk GLM 5.3 dan Qwen3.8 27B. Jika anda menghidupkannya, gunakan model tersebut untuk output skema.
  • maxRetries. generateText mencuba semula dua kali secara lalai. Tetapkan nilainya mengikut had kadar anda.
  • Output penaakulan. AI SDK membaca kandungan penaakulan apabila penyedia memulangkannya. Medan hasil reasoningText peringkat atas kini ditandakan deprecated dan digantikan dengan finalStep.reasoningText. Jangan bina logik yang bergantung pada kehadiran penaakulan.

Model mana yang patut dipilih

Keperluan Model Konteks
Tool calling, output berstruktur broadnet/glm-5.3 1,048,576
Imej serta alatan, bahasa Arab broadnet/qwen3.8-27b 262,144
Konteks panjang, pelan kadar tetap broadnet/deepseek-v4.1-flash 1,048,576
Panggilan teks dan imej yang murah broadnet/gemma-4-26b-a4b 32,768

Harga setiap token bagi setiap model ada di halaman harga.

Penyelesaian masalah

  • 401. BROADNET_API_KEY tiada dalam runtime (semak tetapan env penyedia hosting anda), salah, tamat tempoh, atau elaun bayar ikut guna telah habis.
  • providerOptions diabaikan. Kuncinya mesti sepadan dengan name penyedia dalam camelCase. Dengan name: 'broadnet', gunakan providerOptions.broadnet.
  • Ralat model. ID mesti sepadan tepat dengan ID BroadNet, termasuk awalan broadnet/. GLM 5.3, Qwen3.8 27B dan DeepSeek V4.1 Flash memerlukan tambah nilai; kredit permulaan $5 meliputi Gemma 4 VL 26B dan dua model Transcribe.
  • Teks kosong, finishReason “length”. Penaakulan telah menggunakan bajet. Naikkan maxOutputTokens atau turunkan reasoningEffort. Mengapa jawapan kosong.
  • 429 semasa beban tinggi. Kunci bayar ikut guna membenarkan 30 permintaan seminit dan 4 serentak. Fungsi serverless berskala keluar dengan pantas, jadi hadkan keserentakan dalam aplikasi anda. Lihat ralat dan cuba semula.
  • Ejen selari pada kunci pelan. Satu sesi pelan tanpa had menjalankan satu permintaan pada satu masa. Menjalankan Promise.all merentas beberapa ejen memerlukan satu sesi bagi setiap ejen, atau permintaan akan beratur.

Soalan lazim

Patutkah saya menggunakan @ai-sdk/openai atau @ai-sdk/openai-compatible?

Gunakan @ai-sdk/openai-compatible untuk API serasi OpenAI pihak ketiga. Ia memanggil endpoint chat completions, iaitu apa yang disediakan oleh BroadNet Inference.

Mengapakah teks yang dijana kosong?

Penaakulan dikira dalam max_tokens di BroadNet. Jika maxOutputTokens kecil, model boleh menghabiskan kesemuanya sebelum jawapan bermula. Naikkan nilainya atau tetapkan reasoningEffort kepada low.

Bagaimanakah saya mendapatkan penggunaan token semasa penstriman?

Tetapkan includeUsage kepada true semasa mencipta penyedia. Dokumentasi AI SDK menyatakan ia menambah data usage pada respons penstriman. Nilai lalainya ialah false.

Adakah saya memerlukan persediaan berasingan untuk setiap model BroadNet?

Tidak. Satu penyedia createOpenAICompatible meliputi setiap model. Panggil broadnet('model-id') atau broadnet.chatModel('model-id') dengan mana-mana ID model chat BroadNet.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity