BroadRouter

Memakai Vercel AI SDK dengan BroadNet Inference

Diperbarui

Instal ai dan @ai-sdk/openai-compatible, lalu panggil createOpenAICompatible dengan name broadnet, baseURL https://inference.broadnet.ai/v1, dan kunci BroadNet Anda sebagai apiKey. Berikan ID model BroadNet seperti broadnet/glm-5.3 ke provider, lalu gunakan generateText atau streamText seperti biasa. Simpan kunci di server, dan beri model penalaran maxOutputTokens yang longgar.

AI SDK dari Vercel adalah toolkit TypeScript untuk aplikasi LLM. Paket @ai-sdk/openai-compatible-nya membuat provider untuk API apa pun yang mengikuti format chat completions OpenAI. BroadNet Inference mengikutinya, jadi Anda hanya mengganti base URL, kunci, dan ID model. Jika ingin memakai klien OpenAI biasa, lihat panduan Node SDK.

Penyiapan

  1. Instal paketnya. Saat tulisan ini dibuat, npm menyediakan ai 7.x dan @ai-sdk/openai-compatible 3.x.

    npm install ai @ai-sdk/openai-compatible
    export BROADNET_API_KEY='your-broadnet-key'
  2. Buat provider.

    // broadnet.ts
    import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
    
    export const broadnet = createOpenAICompatible({
      name: 'broadnet',
      baseURL: 'https://inference.broadnet.ai/v1',
      apiKey: process.env.BROADNET_API_KEY,
      includeUsage: true, // usage data in streaming responses
    });
  3. Hasilkan teks.

    import { generateText } from 'ai';
    import { broadnet } from './broadnet';
    
    const { text, usage, finishReason } = await generateText({
      model: broadnet('broadnet/glm-5.3'),
      prompt: 'Explain idempotency keys in two sentences.',
      maxOutputTokens: 4000, // reasoning counts toward this
    });
    
    console.log(text, finishReason, usage);
  4. Streaming. Ganti generateText dengan streamText dan baca textStream. Panduan streaming menjelaskan format data di baliknya.

name yang Anda berikan menjadi kunci untuk provider options dan provider metadata, jadi buat singkat dan jangan diubah-ubah. provider('id') dan provider.chatModel('id') sama-sama membuat model chat; tidak ada penyiapan terpisah per model. Simpan kunci di server. Jangan impor file ini ke kode yang berjalan di browser, karena kuncinya akan terkirim ke setiap pengunjung.

Dokumentasi provider mencantumkan pembuatan teks, streaming, tool calling, output terstruktur, konten penalaran, dan input gambar sebagai kemampuan yang didukung, dengan catatan bahwa sebagian bergantung pada penyedia. Di BroadNet, input gambar berfungsi dengan DeepSeek V4.1 Flash, Qwen3.8 27B, dan Gemma 4 VL 26B. GLM 5.3 hanya menerima teks.

Opsi yang layak diatur

  • reasoningEffort. Kirim lewat providerOptions, dengan nama provider sebagai kuncinya. Menurut dokumentasi AI SDK, nilai yang tepat bergantung pada penyedia; dokumentasi BroadNet menunjukkan low.
const result = await generateText({
  model: broadnet('broadnet/deepseek-v4.1-flash'),
  prompt: 'Classify: "refund my order" -> intent?',
  providerOptions: { broadnet: { reasoningEffort: 'low' } },
});
  • supportsStructuredOutputs. AI SDK hanya mengirim JSON schema jika opsi ini bernilai true di provider. BroadNet mencantumkan output terstruktur untuk GLM 5.3 dan Qwen3.8 27B. Jika Anda mengaktifkannya, gunakan kedua model itu untuk output berbasis schema.
  • maxRetries. generateText mencoba ulang dua kali secara default. Sesuaikan dengan rate limit Anda.
  • Output penalaran. AI SDK membaca konten penalaran jika penyedia mengembalikannya. Field hasil reasoningText di tingkat atas kini ditandai deprecated dan digantikan finalStep.reasoningText. Jangan membangun logika yang bergantung pada keberadaan penalaran.

Model mana yang dipilih

Kebutuhan Model Konteks
Tool calling, output terstruktur broadnet/glm-5.3 1.048.576
Gambar plus tools, bahasa Arab broadnet/qwen3.8-27b 262.144
Konteks panjang, paket harga tetap broadnet/deepseek-v4.1-flash 1.048.576
Panggilan teks dan gambar yang murah broadnet/gemma-4-26b-a4b 32.768

Harga per token setiap model ada di halaman harga.

Pemecahan masalah

  • 401. BROADNET_API_KEY tidak ada di runtime (periksa pengaturan env di penyedia hosting Anda), salah, kedaluwarsa, atau jatah bayar sesuai pemakaian sudah habis.
  • providerOptions diabaikan. Kuncinya harus sama dengan name provider dalam camelCase. Dengan name: 'broadnet', gunakan providerOptions.broadnet.
  • Error model. ID harus sama persis dengan milik BroadNet, termasuk prefiks broadnet/. GLM 5.3, Qwen3.8 27B, dan DeepSeek V4.1 Flash memerlukan top up; kredit awal $5 hanya mencakup Gemma 4 VL 26B.
  • Teks kosong, finishReason “length”. Penalaran menghabiskan anggaran. Naikkan maxOutputTokens atau turunkan reasoningEffort. Kenapa jawaban kembali kosong.
  • 429 saat beban tinggi. Kunci bayar sesuai pemakaian mengizinkan 30 permintaan per menit dan 4 permintaan yang berjalan bersamaan. Fungsi serverless cepat bertambah banyak, jadi batasi konkurensi di aplikasi Anda. Lihat panduan error dan percobaan ulang.
  • Agen paralel dengan kunci paket. Satu sesi paket unlimited menjalankan satu permintaan dalam satu waktu. Menjalankan Promise.all atas beberapa agen memerlukan satu sesi per agen; jika tidak, permintaan akan mengantre.

Pertanyaan umum

Sebaiknya pakai @ai-sdk/openai atau @ai-sdk/openai-compatible?

Gunakan @ai-sdk/openai-compatible untuk API pihak ketiga yang kompatibel dengan OpenAI. Paket ini memanggil endpoint chat completions, yang memang dilayani BroadNet Inference.

Kenapa teks yang dihasilkan kosong?

Di BroadNet, penalaran ikut dihitung dalam max_tokens. Jika maxOutputTokens kecil, model bisa menghabiskannya sebelum jawaban dimulai. Naikkan nilainya atau atur reasoningEffort ke low.

Bagaimana cara mendapatkan usage token saat streaming?

Atur includeUsage ke true saat membuat provider. Menurut dokumentasi AI SDK, opsi ini menambahkan data usage ke respons streaming. Default-nya false.

Apakah setiap model BroadNet perlu penyiapan terpisah?

Tidak. Satu provider createOpenAICompatible mencakup semua model. Panggil broadnet('model-id') atau broadnet.chatModel('model-id') dengan ID model chat BroadNet mana pun.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity