BroadRouter

Utiliser le Vercel AI SDK avec BroadNet Inference

Mis à jour

Installez ai et @ai-sdk/openai-compatible, puis appelez createOpenAICompatible avec name broadnet, baseURL https://inference.broadnet.ai/v1 et votre clé BroadNet comme apiKey. Passez au provider un ID de modèle BroadNet comme broadnet/glm-5.3 et utilisez generateText ou streamText comme d’habitude. Gardez la clé côté serveur et donnez aux modèles de raisonnement un maxOutputTokens généreux.

L’AI SDK de Vercel est une boîte à outils TypeScript pour les applications LLM. Son paquet @ai-sdk/openai-compatible crée un provider pour toute API qui suit le format chat completions d’OpenAI. C’est le cas de BroadNet Inference : vous ne changez que l’URL de base, la clé et les ID de modèles. Pour le client OpenAI classique, consultez plutôt le guide du SDK Node.

Configuration

  1. Installez les paquets. Au moment de la rédaction, npm distribue ai 7.x et @ai-sdk/openai-compatible 3.x.

    npm install ai @ai-sdk/openai-compatible
    export BROADNET_API_KEY='your-broadnet-key'
  2. Créez le provider.

    // broadnet.ts
    import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
    
    export const broadnet = createOpenAICompatible({
      name: 'broadnet',
      baseURL: 'https://inference.broadnet.ai/v1',
      apiKey: process.env.BROADNET_API_KEY,
      includeUsage: true, // usage data in streaming responses
    });
  3. Générez du texte.

    import { generateText } from 'ai';
    import { broadnet } from './broadnet';
    
    const { text, usage, finishReason } = await generateText({
      model: broadnet('broadnet/glm-5.3'),
      prompt: 'Explain idempotency keys in two sentences.',
      maxOutputTokens: 4000, // reasoning counts toward this
    });
    
    console.log(text, finishReason, usage);
  4. Streamez. Remplacez generateText par streamText et lisez textStream. Le guide du streaming explique le format de transmission sous-jacent.

Le name que vous passez devient la clé des options et des métadonnées du provider : gardez-le court et stable. provider('id') et provider.chatModel('id') créent tous deux un modèle de chat ; il n’y a pas de configuration distincte par modèle. Gardez la clé côté serveur. N’importez pas ce fichier dans du code exécuté dans le navigateur, sinon la clé est envoyée à chaque visiteur.

La documentation du provider liste la génération de texte, le streaming, l’appel d’outils, les sorties structurées, le contenu de raisonnement et les images en entrée parmi les capacités prises en charge, en précisant que certaines dépendent du fournisseur. Chez BroadNet, les images en entrée fonctionnent avec DeepSeek V4.1 Flash, Qwen3.8 27B et Gemma 4 VL 26B. GLM 5.3 n’accepte que du texte.

Options à régler

  • reasoningEffort. Passez-la via providerOptions, sous la clé du nom du provider. D’après la documentation de l’AI SDK, les valeurs exactes dépendent du fournisseur ; la documentation de BroadNet montre low.
const result = await generateText({
  model: broadnet('broadnet/deepseek-v4.1-flash'),
  prompt: 'Classify: "refund my order" -> intent?',
  providerOptions: { broadnet: { reasoningEffort: 'low' } },
});
  • supportsStructuredOutputs. L’AI SDK n’envoie de schémas JSON que si cette option vaut true sur le provider. BroadNet indique la sortie structurée pour GLM 5.3 et Qwen3.8 27B. Si vous l’activez, utilisez ces modèles pour les sorties à schéma.
  • maxRetries. generateText réessaie deux fois par défaut. Ajustez la valeur à votre limite de débit.
  • Sortie de raisonnement. L’AI SDK lit le contenu de raisonnement quand le fournisseur le renvoie. Le champ de résultat reasoningText de premier niveau est désormais marqué obsolète au profit de finalStep.reasoningText. Ne construisez pas de logique qui suppose la présence du raisonnement.

Quel modèle choisir ?

Besoin Modèle Contexte
Appel d’outils, sortie structurée broadnet/glm-5.3 1 048 576
Images et outils, arabe broadnet/qwen3.8-27b 262 144
Long contexte, forfait broadnet/deepseek-v4.1-flash 1 048 576
Appels texte et image bon marché broadnet/gemma-4-26b-a4b 32 768

Les prix par token de chaque modèle figurent sur la page des tarifs.

Dépannage

  • 401. BROADNET_API_KEY manque dans l’environnement d’exécution (vérifiez les variables d’environnement chez votre hébergeur), est erronée, expirée, ou son quota de paiement à l’usage est épuisé.
  • providerOptions ignorées. La clé doit correspondre au name du provider en camelCase. Avec name: 'broadnet', utilisez providerOptions.broadnet.
  • Erreurs de modèle. L’ID doit correspondre exactement à celui de BroadNet, avec le préfixe broadnet/. GLM 5.3, Qwen3.8 27B et DeepSeek V4.1 Flash nécessitent une recharge ; le crédit de départ de $5 couvre Gemma 4 VL 26B et les deux modèles Transcribe.
  • Texte vide, finishReason « length ». Le raisonnement a épuisé le budget. Augmentez maxOutputTokens ou baissez reasoningEffort. Pourquoi les réponses reviennent vides.
  • 429 sous charge. Une clé à l’usage autorise 30 requêtes par minute et 4 requêtes en cours. Les fonctions serverless montent vite en charge : plafonnez la concurrence dans votre application. Voir codes d’erreur et nouvelles tentatives.
  • Agents en parallèle avec une clé de forfait. Une session de forfait illimité traite une seule requête à la fois. Lancer Promise.all sur plusieurs agents demande une session par agent, sinon les requêtes passent en file d’attente.

Questions fréquentes

Faut-il utiliser @ai-sdk/openai ou @ai-sdk/openai-compatible ?

Utilisez @ai-sdk/openai-compatible pour les API tierces compatibles OpenAI. Il appelle l’endpoint chat completions, celui que sert BroadNet Inference.

Pourquoi le texte généré est-il vide ?

Chez BroadNet, le raisonnement compte dans max_tokens. Si maxOutputTokens est petit, le modèle peut tout consommer avant que la réponse ne commence. Augmentez-le ou réglez reasoningEffort sur low.

Comment obtenir l’usage des tokens en streaming ?

Réglez includeUsage sur true en créant le provider. D’après la documentation de l’AI SDK, cela ajoute les données d’usage aux réponses en streaming. La valeur par défaut est false.

Faut-il une configuration distincte pour chaque modèle BroadNet ?

Non. Un seul provider createOpenAICompatible couvre tous les modèles. Appelez broadnet('model-id') ou broadnet.chatModel('model-id') avec n’importe quel ID de modèle de chat BroadNet.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity