BroadRouter

Como usar o Vercel AI SDK com a BroadNet Inference

Atualizado em

Instale ai e @ai-sdk/openai-compatible e chame createOpenAICompatible com name broadnet, baseURL https://inference.broadnet.ai/v1 e a sua chave da BroadNet em apiKey. Passe ao provider um ID de modelo da BroadNet, como broadnet/glm-5.3, e use generateText ou streamText normalmente. Mantenha a chave no servidor e dê aos modelos de raciocínio um maxOutputTokens generoso.

O AI SDK da Vercel é um toolkit em TypeScript para apps com LLM. O pacote @ai-sdk/openai-compatible cria um provider para qualquer API que siga o formato de chat completions da OpenAI. A BroadNet Inference segue, então você só troca a base URL, a chave e os IDs de modelo. Se preferir o client da OpenAI puro, veja o guia do SDK Node.

Configuração

  1. Instale os pacotes. No momento em que este guia foi escrito, o npm distribui ai 7.x e @ai-sdk/openai-compatible 3.x.

    npm install ai @ai-sdk/openai-compatible
    export BROADNET_API_KEY='your-broadnet-key'
  2. Crie o provider. A opção includeUsage adiciona os dados de uso às respostas em streaming.

    // broadnet.ts
    import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
    
    export const broadnet = createOpenAICompatible({
      name: 'broadnet',
      baseURL: 'https://inference.broadnet.ai/v1',
      apiKey: process.env.BROADNET_API_KEY,
      includeUsage: true, // usage data in streaming responses
    });
  3. Gere texto. O raciocínio conta para maxOutputTokens.

    import { generateText } from 'ai';
    import { broadnet } from './broadnet';
    
    const { text, usage, finishReason } = await generateText({
      model: broadnet('broadnet/glm-5.3'),
      prompt: 'Explain idempotency keys in two sentences.',
      maxOutputTokens: 4000, // reasoning counts toward this
    });
    
    console.log(text, finishReason, usage);
  4. Faça streaming. Troque generateText por streamText e leia textStream. O guia de streaming explica o formato que trafega por baixo.

O name que você passa vira a chave das opções e dos metadados do provider, então use um nome curto e estável. provider('id') e provider.chatModel('id') criam um modelo de chat; não existe configuração separada por modelo. Mantenha a chave no servidor. Não importe esse arquivo em código que roda no navegador, ou a chave vai parar nas mãos de todos os visitantes.

A documentação do provider lista geração de texto, streaming, tool calling, saídas estruturadas, conteúdo de raciocínio e entrada de imagens como recursos suportados, com a observação de que alguns dependem do provedor. Na BroadNet, a entrada de imagens funciona com DeepSeek V4.1 Flash, Qwen3.8 27B e Gemma 4 VL 26B. O GLM 5.3 aceita só texto.

Opções que vale a pena definir

  • reasoningEffort. Passe pela providerOptions, sob o nome do provider. A documentação do AI SDK diz que os valores exatos dependem do provedor; a documentação da BroadNet mostra low.
const result = await generateText({
  model: broadnet('broadnet/deepseek-v4.1-flash'),
  prompt: 'Classify: "refund my order" -> intent?',
  providerOptions: { broadnet: { reasoningEffort: 'low' } },
});
  • supportsStructuredOutputs. O AI SDK só envia JSON schemas quando essa opção é true no provider. A BroadNet lista saída estruturada para GLM 5.3 e Qwen3.8 27B. Se você ativar, use esses modelos para saída com schema.
  • maxRetries. generateText tenta de novo duas vezes por padrão. Ajuste conforme o seu rate limit.
  • Saída de raciocínio. O AI SDK lê o conteúdo de raciocínio quando o provedor o devolve. O campo de nível superior reasoningText do resultado agora está marcado como obsoleto em favor de finalStep.reasoningText. Não crie lógica que dependa da presença do raciocínio.

Qual modelo escolher

Necessidade Modelo Contexto
Tool calling, saída estruturada broadnet/glm-5.3 1.048.576
Imagens com ferramentas, árabe broadnet/qwen3.8-27b 262.144
Contexto longo, plano de preço fixo broadnet/deepseek-v4.1-flash 1.048.576
Chamadas baratas com texto e imagem broadnet/gemma-4-26b-a4b 32.768

Os preços por token de cada modelo estão na página de preços.

Solução de problemas

  • 401. BROADNET_API_KEY está faltando no runtime (confira as variáveis de ambiente do seu provedor de hospedagem), está errada, expirou ou ficou sem cota de pagamento por uso.
  • providerOptions ignoradas. A chave precisa ser igual ao name do provider em camelCase. Com name: 'broadnet', use providerOptions.broadnet.
  • Erros de modelo. O ID precisa ser exatamente o da BroadNet, com o prefixo broadnet/. GLM 5.3, Qwen3.8 27B e DeepSeek V4.1 Flash exigem uma recarga; o crédito inicial de $5 cobre o Gemma 4 VL 26B e os dois modelos Transcribe.
  • Texto vazio, finishReason “length”. O raciocínio consumiu o orçamento. Aumente maxOutputTokens ou reduza reasoningEffort. Por que as respostas vêm vazias.
  • 429 sob carga. Uma chave de pagamento por uso permite 30 requisições por minuto e 4 em andamento. Funções serverless escalam rápido, então limite a concorrência no seu app. Veja erros e novas tentativas.
  • Agentes em paralelo com uma chave de plano. Uma sessão do plano ilimitado roda uma requisição por vez. Rodar Promise.all com vários agentes exige uma sessão por agente; caso contrário, as requisições entram em fila.

Perguntas frequentes

Uso @ai-sdk/openai ou @ai-sdk/openai-compatible?

Use @ai-sdk/openai-compatible para APIs de terceiros compatíveis com a OpenAI. Ele chama o endpoint de chat completions, que é o que a BroadNet Inference oferece.

Por que o texto gerado vem vazio?

Na BroadNet, o raciocínio conta para max_tokens. Se maxOutputTokens for pequeno, o modelo pode gastar tudo antes de a resposta começar. Aumente o valor ou defina reasoningEffort como low.

Como recebo o uso de tokens durante o streaming?

Defina includeUsage como true ao criar o provider. A documentação do AI SDK diz que isso adiciona os dados de uso às respostas em streaming. O padrão é false.

Preciso de uma configuração separada para cada modelo da BroadNet?

Não. Um único provider createOpenAICompatible cobre todos os modelos. Chame broadnet('model-id') ou broadnet.chatModel('model-id') com qualquer ID de modelo de chat da BroadNet.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity