BroadRouter

Vercel AI SDK'yı BroadNet Inference ile kullanın

Güncellendi

ai ve @ai-sdk/openai-compatible paketlerini kurun, ardından createOpenAICompatible'ı name broadnet, baseURL https://inference.broadnet.ai/v1 ve apiKey olarak BroadNet anahtarınızla çağırın. Sağlayıcıya broadnet/glm-5.3 gibi bir BroadNet model kimliği verin ve generateText ya da streamText'i her zamanki gibi kullanın. Anahtarı sunucuda tutun, akıl yürütme modellerine cömert bir maxOutputTokens verin.

Vercel’in AI SDK aracı, LLM uygulamaları için bir TypeScript araç setidir. @ai-sdk/openai-compatible paketi, OpenAI chat completions biçimini izleyen her API için bir sağlayıcı oluşturur. BroadNet Inference bu biçimi izlediğinden yalnızca base URL’yi, anahtarı ve model kimliklerini değiştirirsiniz. Bunun yerine düz OpenAI istemcisini kullanmak için Node SDK rehberine bakın.

Kurulum

  1. Paketleri kurun. Bu yazı hazırlanırken npm, ai 7.x ve @ai-sdk/openai-compatible 3.x sürümlerini sunuyordu.

    npm install ai @ai-sdk/openai-compatible
    export BROADNET_API_KEY='your-broadnet-key'
  2. Sağlayıcıyı oluşturun.

    // broadnet.ts
    import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
    
    export const broadnet = createOpenAICompatible({
      name: 'broadnet',
      baseURL: 'https://inference.broadnet.ai/v1',
      apiKey: process.env.BROADNET_API_KEY,
      includeUsage: true, // usage data in streaming responses
    });
  3. Metin üretin.

    import { generateText } from 'ai';
    import { broadnet } from './broadnet';
    
    const { text, usage, finishReason } = await generateText({
      model: broadnet('broadnet/glm-5.3'),
      prompt: 'Explain idempotency keys in two sentences.',
      maxOutputTokens: 4000, // reasoning counts toward this
    });
    
    console.log(text, finishReason, usage);
  4. Akışla alın. generateText yerine streamText kullanın ve textStream değerini okuyun. Alttaki iletim biçimini akış rehberi açıklar.

Verdiğiniz name, sağlayıcı seçenekleri ve sağlayıcı meta verisi için anahtar olur; bu yüzden kısa ve sabit tutun. provider('id') ve provider.chatModel('id') ikisi de bir sohbet modeli oluşturur; model başına ayrı kurulum yoktur. Anahtarı sunucuda tutun. Bu dosyayı tarayıcıda çalışan koda içe aktarmayın; aksi halde anahtar her ziyaretçiye gönderilir.

Sağlayıcı belgeleri metin üretimi, akış, araç çağırma, yapılandırılmış çıktılar, akıl yürütme içeriği ve görsel girdiyi desteklenen yetenekler olarak listeler ve bazılarının sağlayıcıya bağlı olduğunu not eder. BroadNet’te görsel girdi DeepSeek V4.1 Flash, Qwen3.8 27B ve Gemma 4 VL 26B ile çalışır. GLM 5.3 yalnızca metin alır.

Ayarlamaya değer seçenekler

  • reasoningEffort. Sağlayıcı adını anahtar olarak kullanıp providerOptions üzerinden verin. AI SDK belgelerine göre geçerli değerler sağlayıcıya bağlıdır; BroadNet’in belgeleri low değerini gösterir.
const result = await generateText({
  model: broadnet('broadnet/deepseek-v4.1-flash'),
  prompt: 'Classify: "refund my order" -> intent?',
  providerOptions: { broadnet: { reasoningEffort: 'low' } },
});
  • supportsStructuredOutputs. AI SDK, JSON şemalarını yalnızca sağlayıcıda bu değer true olduğunda gönderir. BroadNet yapılandırılmış çıktıyı GLM 5.3 ve Qwen3.8 27B için listeler. Açarsanız şema çıktısı için bu modelleri kullanın.
  • maxRetries. generateText varsayılan olarak iki kez yeniden dener. Değeri hız sınırınıza göre ayarlayın.
  • Akıl yürütme çıktısı. AI SDK, sağlayıcı döndürdüğünde akıl yürütme içeriğini okur. Üst düzeydeki reasoningText sonuç alanı artık finalStep.reasoningText lehine kullanımdan kaldırılmış (deprecated) olarak işaretli. Akıl yürütmenin mutlaka bulunmasına dayanan mantık kurmayın.

Hangi modeli seçmeli

İhtiyaç Model Bağlam
Araç çağırma, yapılandırılmış çıktı broadnet/glm-5.3 1.048.576
Görseller ve araçlar, Arapça broadnet/qwen3.8-27b 262.144
Uzun bağlam, sabit fiyatlı plan broadnet/deepseek-v4.1-flash 1.048.576
Ucuz metin ve görsel çağrıları broadnet/gemma-4-26b-a4b 32.768

Her modelin token başına fiyatı fiyatlandırma sayfasında.

Sorun giderme

  • 401. BROADNET_API_KEY çalışma ortamında yok (barındırma sağlayıcınızın ortam değişkeni ayarlarını kontrol edin), yanlış, süresi dolmuş ya da kullandıkça öde kullanım hakkı tükenmiş.
  • providerOptions yok sayılıyor. Anahtar, camelCase biçimindeki sağlayıcı name değeriyle eşleşmelidir. name: 'broadnet' ile providerOptions.broadnet kullanın.
  • Model hataları. Kimlik, broadnet/ önekiyle birlikte BroadNet’tekiyle birebir aynı olmalı. GLM 5.3, Qwen3.8 27B ve DeepSeek V4.1 Flash bakiye yüklemesi gerektirir; $5 başlangıç kredisi yalnızca Gemma 4 VL 26B’yi kapsar.
  • Boş metin, finishReason “length”. Akıl yürütme bütçeyi tüketmiş. maxOutputTokens değerini artırın ya da reasoningEffort değerini düşürün. Yanıtlar neden boş geliyor.
  • Yük altında 429. Kullandıkça öde anahtarı dakikada 30 isteğe ve işlemde aynı anda 4 isteğe izin verir. Sunucusuz (serverless) fonksiyonlar hızla ölçeklenir; bu yüzden uygulamanızda eşzamanlılığı sınırlayın. Hatalar ve yeniden denemeler rehberine bakın.
  • Plan anahtarında paralel ajanlar. Bir sınırsız plan oturumu aynı anda tek istek çalıştırır. Birkaç ajan üzerinde Promise.all çalıştırmak için ajan başına bir oturum gerekir; aksi halde istekler sıraya girer.

Sık sorulan sorular

@ai-sdk/openai mı kullanmalıyım, @ai-sdk/openai-compatible mı?

Üçüncü taraf OpenAI uyumlu API'ler için @ai-sdk/openai-compatible kullanın. Bu paket, BroadNet Inference'ın sunduğu chat completions uç noktasını çağırır.

Üretilen metin neden boş?

BroadNet'te akıl yürütme max_tokens sınırına dahildir. maxOutputTokens küçükse model yanıt başlamadan bütçenin tamamını harcayabilir. Değeri artırın ya da reasoningEffort'u low yapın.

Akış sırasında token kullanımını nasıl alırım?

Sağlayıcıyı oluştururken includeUsage değerini true yapın. AI SDK belgelerine göre bu, akış yanıtlarına kullanım verisi ekler. Varsayılanı false'tur.

Her BroadNet modeli için ayrı kurulum gerekir mi?

Hayır. Tek bir createOpenAICompatible sağlayıcısı tüm modelleri kapsar. Herhangi bir BroadNet sohbet modeli kimliğiyle broadnet('model-id') veya broadnet.chatModel('model-id') çağırın.

Markdown olarak okuChatGPT asistanına sorClaude asistanına sorPerplexity asistanına sor