O AI SDK da Vercel é um toolkit em TypeScript para apps com LLM. O pacote @ai-sdk/openai-compatible cria um provider para qualquer API que siga o formato de chat completions da OpenAI. A BroadNet Inference segue, então você só troca a base URL, a chave e os IDs de modelo. Se preferir o client da OpenAI puro, veja o guia do SDK Node.
Configuração
-
Instale os pacotes. No momento em que este guia foi escrito, o npm distribui
ai7.x e@ai-sdk/openai-compatible3.x.npm install ai @ai-sdk/openai-compatible export BROADNET_API_KEY='your-broadnet-key' -
Crie o provider. A opção
includeUsageadiciona os dados de uso às respostas em streaming.// broadnet.ts import { createOpenAICompatible } from '@ai-sdk/openai-compatible'; export const broadnet = createOpenAICompatible({ name: 'broadnet', baseURL: 'https://inference.broadnet.ai/v1', apiKey: process.env.BROADNET_API_KEY, includeUsage: true, // usage data in streaming responses }); -
Gere texto. O raciocínio conta para
maxOutputTokens.import { generateText } from 'ai'; import { broadnet } from './broadnet'; const { text, usage, finishReason } = await generateText({ model: broadnet('broadnet/glm-5.3'), prompt: 'Explain idempotency keys in two sentences.', maxOutputTokens: 4000, // reasoning counts toward this }); console.log(text, finishReason, usage); -
Faça streaming. Troque
generateTextporstreamTexte leiatextStream. O guia de streaming explica o formato que trafega por baixo.
O name que você passa vira a chave das opções e dos metadados do provider, então use um nome curto e estável. provider('id') e provider.chatModel('id') criam um modelo de chat; não existe configuração separada por modelo. Mantenha a chave no servidor. Não importe esse arquivo em código que roda no navegador, ou a chave vai parar nas mãos de todos os visitantes.
A documentação do provider lista geração de texto, streaming, tool calling, saídas estruturadas, conteúdo de raciocínio e entrada de imagens como recursos suportados, com a observação de que alguns dependem do provedor. Na BroadNet, a entrada de imagens funciona com DeepSeek V4.1 Flash, Qwen3.8 27B e Gemma 4 VL 26B. O GLM 5.3 aceita só texto.
Opções que vale a pena definir
- reasoningEffort. Passe pela
providerOptions, sob o nome do provider. A documentação do AI SDK diz que os valores exatos dependem do provedor; a documentação da BroadNet mostralow.
const result = await generateText({
model: broadnet('broadnet/deepseek-v4.1-flash'),
prompt: 'Classify: "refund my order" -> intent?',
providerOptions: { broadnet: { reasoningEffort: 'low' } },
});
- supportsStructuredOutputs. O AI SDK só envia JSON schemas quando essa opção é
trueno provider. A BroadNet lista saída estruturada para GLM 5.3 e Qwen3.8 27B. Se você ativar, use esses modelos para saída com schema. - maxRetries.
generateTexttenta de novo duas vezes por padrão. Ajuste conforme o seu rate limit. - Saída de raciocínio. O AI SDK lê o conteúdo de raciocínio quando o provedor o devolve. O campo de nível superior
reasoningTextdo resultado agora está marcado como obsoleto em favor definalStep.reasoningText. Não crie lógica que dependa da presença do raciocínio.
Qual modelo escolher
| Necessidade | Modelo | Contexto |
|---|---|---|
| Tool calling, saída estruturada | broadnet/glm-5.3 |
1.048.576 |
| Imagens com ferramentas, árabe | broadnet/qwen3.8-27b |
262.144 |
| Contexto longo, plano de preço fixo | broadnet/deepseek-v4.1-flash |
1.048.576 |
| Chamadas baratas com texto e imagem | broadnet/gemma-4-26b-a4b |
32.768 |
Os preços por token de cada modelo estão na página de preços.
Solução de problemas
- 401.
BROADNET_API_KEYestá faltando no runtime (confira as variáveis de ambiente do seu provedor de hospedagem), está errada, expirou ou ficou sem cota de pagamento por uso. - providerOptions ignoradas. A chave precisa ser igual ao
namedo provider em camelCase. Comname: 'broadnet', useproviderOptions.broadnet. - Erros de modelo. O ID precisa ser exatamente o da BroadNet, com o prefixo
broadnet/. GLM 5.3, Qwen3.8 27B e DeepSeek V4.1 Flash exigem uma recarga; o crédito inicial de $5 cobre o Gemma 4 VL 26B e os dois modelos Transcribe. - Texto vazio, finishReason “length”. O raciocínio consumiu o orçamento. Aumente
maxOutputTokensou reduzareasoningEffort. Por que as respostas vêm vazias. - 429 sob carga. Uma chave de pagamento por uso permite 30 requisições por minuto e 4 em andamento. Funções serverless escalam rápido, então limite a concorrência no seu app. Veja erros e novas tentativas.
- Agentes em paralelo com uma chave de plano. Uma sessão do plano ilimitado roda uma requisição por vez. Rodar
Promise.allcom vários agentes exige uma sessão por agente; caso contrário, as requisições entram em fila.
