BroadRouter

BroadNet Inference के साथ Vercel AI SDK इस्तेमाल करें

अपडेट किया गया

ai और @ai-sdk/openai-compatible इंस्टॉल करें, फिर createOpenAICompatible को name broadnet, baseURL https://inference.broadnet.ai/v1 और apiKey में अपनी BroadNet key के साथ कॉल करें। प्रोवाइडर को broadnet/glm-5.3 जैसा BroadNet मॉडल ID दें और generateText या streamText हमेशा की तरह इस्तेमाल करें। key सर्वर पर रखें, और रीज़निंग मॉडल को खुला maxOutputTokens दें।

Vercel का AI SDK LLM ऐप बनाने के लिए एक TypeScript टूलकिट है। इसका @ai-sdk/openai-compatible पैकेज OpenAI chat-completions फ़ॉर्मैट मानने वाले किसी भी API के लिए प्रोवाइडर बनाता है। BroadNet Inference यही फ़ॉर्मैट मानता है, इसलिए आपको सिर्फ़ base URL, key और मॉडल ID बदलने हैं। अगर आप सादा OpenAI क्लाइंट इस्तेमाल करना चाहते हैं, तो Node SDK गाइड देखें।

सेटअप

  1. पैकेज इंस्टॉल करें। यह लिखते समय npm पर ai 7.x और @ai-sdk/openai-compatible 3.x उपलब्ध हैं।

    npm install ai @ai-sdk/openai-compatible
    export BROADNET_API_KEY='your-broadnet-key'
  2. प्रोवाइडर बनाएँ। नीचे includeUsage वाली टिप्पणी का मतलब है कि स्ट्रीमिंग रिस्पॉन्स में usage डेटा आएगा।

    // broadnet.ts
    import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
    
    export const broadnet = createOpenAICompatible({
      name: 'broadnet',
      baseURL: 'https://inference.broadnet.ai/v1',
      apiKey: process.env.BROADNET_API_KEY,
      includeUsage: true, // usage data in streaming responses
    });
  3. टेक्स्ट जनरेट करें। maxOutputTokens वाली टिप्पणी याद दिलाती है कि रीज़निंग भी इसी सीमा में गिनी जाती है।

    import { generateText } from 'ai';
    import { broadnet } from './broadnet';
    
    const { text, usage, finishReason } = await generateText({
      model: broadnet('broadnet/glm-5.3'),
      prompt: 'Explain idempotency keys in two sentences.',
      maxOutputTokens: 4000, // reasoning counts toward this
    });
    
    console.log(text, finishReason, usage);
  4. स्ट्रीम करें। generateText की जगह streamText लगाएँ और textStream पढ़ें। नीचे का वायर फ़ॉर्मैट स्ट्रीमिंग गाइड में समझाया गया है।

आप जो name देते हैं, वही प्रोवाइडर ऑप्शन और प्रोवाइडर मेटाडेटा की key बन जाता है, इसलिए इसे छोटा और स्थिर रखें। provider('id') और provider.chatModel('id') दोनों चैट मॉडल बनाते हैं; हर मॉडल के लिए अलग सेटअप नहीं है। key सर्वर पर रखें। इस फ़ाइल को ब्राउज़र में चलने वाले कोड में import न करें, वरना key हर विज़िटर तक पहुँच जाएगी।

प्रोवाइडर डॉक्स टेक्स्ट जनरेशन, स्ट्रीमिंग, टूल कॉलिंग, स्ट्रक्चर्ड आउटपुट, रीज़निंग कंटेंट और इमेज इनपुट को सपोर्टेड क्षमताएँ बताते हैं, इस नोट के साथ कि इनमें से कुछ प्रोवाइडर पर निर्भर हैं। BroadNet पर इमेज इनपुट DeepSeek V4.1 Flash, Qwen3.8 27B और Gemma 4 VL 26B के साथ चलता है। GLM 5.3 सिर्फ़ टेक्स्ट लेता है।

सेट करने लायक विकल्प

  • reasoningEffort. इसे providerOptions से पास करें, प्रोवाइडर के नाम की key के नीचे। AI SDK के डॉक्स कहते हैं कि सटीक वैल्यू प्रोवाइडर पर निर्भर हैं; BroadNet के डॉक्स low दिखाते हैं।
const result = await generateText({
  model: broadnet('broadnet/deepseek-v4.1-flash'),
  prompt: 'Classify: "refund my order" -> intent?',
  providerOptions: { broadnet: { reasoningEffort: 'low' } },
});
  • supportsStructuredOutputs. AI SDK, JSON schema सिर्फ़ तभी भेजता है जब प्रोवाइडर पर यह true हो। BroadNet, स्ट्रक्चर्ड आउटपुट GLM 5.3 और Qwen3.8 27B के लिए सूचीबद्ध करता है। इसे चालू करें, तो schema वाले आउटपुट के लिए यही मॉडल इस्तेमाल करें।
  • maxRetries. generateText डिफ़ॉल्ट रूप से दो बार रीट्राई करता है। इसे अपनी रेट लिमिट के हिसाब से सेट करें।
  • रीज़निंग आउटपुट. प्रोवाइडर रीज़निंग कंटेंट लौटाए, तो AI SDK उसे पढ़ता है। टॉप-लेवल reasoningText रिज़ल्ट फ़ील्ड अब deprecated है और उसकी जगह finalStep.reasoningText है। ऐसा लॉजिक न बनाएँ जो रीज़निंग के मौजूद होने पर टिका हो।

कौन-सा मॉडल चुनें

ज़रूरत मॉडल कॉन्टेक्स्ट
टूल कॉलिंग, स्ट्रक्चर्ड आउटपुट broadnet/glm-5.3 1,048,576
इमेज के साथ टूल, अरबी broadnet/qwen3.8-27b 262,144
लंबा कॉन्टेक्स्ट, फ़्लैट-रेट प्लान broadnet/deepseek-v4.1-flash 1,048,576
सस्ती टेक्स्ट और इमेज कॉल broadnet/gemma-4-26b-a4b 32,768

हर मॉडल की प्रति-टोकन कीमत प्राइसिंग पेज पर है।

समस्या का समाधान

  • 401. रनटाइम में BROADNET_API_KEY मौजूद नहीं है (अपने होस्टिंग प्रोवाइडर की env सेटिंग देखें), या key ग़लत है, एक्सपायर हो गई है, या उसका उपयोग के अनुसार भुगतान वाला अलाउंस ख़त्म हो गया है।
  • providerOptions अनदेखा होता है। key, प्रोवाइडर के name से camelCase में मिलनी चाहिए। name: 'broadnet' के साथ providerOptions.broadnet इस्तेमाल करें।
  • मॉडल एरर. ID, broadnet/ प्रीफ़िक्स समेत, BroadNet के ID से हूबहू मिलना चाहिए। GLM 5.3, Qwen3.8 27B और DeepSeek V4.1 Flash के लिए टॉप-अप चाहिए; $5 शुरुआती क्रेडिट Gemma 4 VL 26B और दो Transcribe मॉडल को कवर करता है।
  • ख़ाली टेक्स्ट, finishReason “length”. रीज़निंग ने बजट ख़र्च कर दिया। maxOutputTokens बढ़ाएँ या reasoningEffort घटाएँ। जवाब ख़ाली क्यों आते हैं।
  • लोड के समय 429. उपयोग के अनुसार भुगतान वाली key प्रति मिनट 30 अनुरोध और एक साथ 4 चालू अनुरोध की अनुमति देती है। सर्वरलेस फ़ंक्शन तेज़ी से स्केल होते हैं, इसलिए अपने ऐप में concurrency की सीमा रखें। एरर और रीट्राई देखें।
  • प्लान key पर पैरेलल एजेंट. एक अनलिमिटेड प्लान सेशन एक समय में एक अनुरोध चलाता है। कई एजेंट पर Promise.all चलाने के लिए हर एजेंट को अपना सेशन चाहिए, वरना अनुरोध कतार में लगते हैं।

अक्सर पूछे जाने वाले सवाल

@ai-sdk/openai इस्तेमाल करूँ या @ai-sdk/openai-compatible?

थर्ड-पार्टी OpenAI-कम्पैटिबल API के लिए @ai-sdk/openai-compatible इस्तेमाल करें। यह chat completions एंडपॉइंट कॉल करता है, और BroadNet Inference यही देता है।

जनरेट हुआ टेक्स्ट ख़ाली क्यों है?

BroadNet पर रीज़निंग, max_tokens में गिनी जाती है। अगर maxOutputTokens छोटा है, तो मॉडल जवाब शुरू होने से पहले ही उसे पूरा ख़र्च कर सकता है। इसे बढ़ाएँ या reasoningEffort को low पर सेट करें।

स्ट्रीमिंग के दौरान टोकन usage कैसे मिले?

प्रोवाइडर बनाते समय includeUsage को true पर सेट करें। AI SDK के डॉक्स कहते हैं कि इससे स्ट्रीमिंग रिस्पॉन्स में usage डेटा जुड़ जाता है। इसका डिफ़ॉल्ट false है।

क्या हर BroadNet मॉडल के लिए अलग सेटअप चाहिए?

नहीं। एक createOpenAICompatible प्रोवाइडर सभी मॉडल कवर करता है। किसी भी BroadNet चैट मॉडल ID के साथ broadnet('model-id') या broadnet.chatModel('model-id') कॉल करें।

Markdown में पढ़ेंChatGPT से पूछेंClaude से पूछेंPerplexity से पूछें