El AI SDK de Vercel es un kit de herramientas en TypeScript para aplicaciones con LLM. Su paquete @ai-sdk/openai-compatible crea un proveedor para cualquier API que siga el formato de chat completions de OpenAI. BroadNet Inference lo sigue, así que solo cambia la URL base, la clave y los IDs de modelo. Si prefiere el cliente de OpenAI sin más, consulte la guía del SDK de Node.
Configuración
-
Instale los paquetes. Al momento de escribir esto, npm ofrece
ai7.x y@ai-sdk/openai-compatible3.x.npm install ai @ai-sdk/openai-compatible export BROADNET_API_KEY='your-broadnet-key' -
Cree el proveedor.
// broadnet.ts import { createOpenAICompatible } from '@ai-sdk/openai-compatible'; export const broadnet = createOpenAICompatible({ name: 'broadnet', baseURL: 'https://inference.broadnet.ai/v1', apiKey: process.env.BROADNET_API_KEY, includeUsage: true, // usage data in streaming responses }); -
Genere texto.
import { generateText } from 'ai'; import { broadnet } from './broadnet'; const { text, usage, finishReason } = await generateText({ model: broadnet('broadnet/glm-5.3'), prompt: 'Explain idempotency keys in two sentences.', maxOutputTokens: 4000, // reasoning counts toward this }); console.log(text, finishReason, usage); -
Haga streaming. Cambie
generateTextporstreamTexty leatextStream. La guía de streaming explica el formato de transmisión que hay debajo.
El name que pase se convierte en la clave de las opciones y los metadatos del proveedor, así que manténgalo corto y estable. Tanto provider('id') como provider.chatModel('id') crean un modelo de chat; no hay configuración aparte por modelo. Mantenga la clave en el servidor. No importe este archivo en código que se ejecute en el navegador, o la clave llegará a cada visitante.
La documentación del proveedor enumera como capacidades admitidas la generación de texto, el streaming, las llamadas a herramientas, la salida estructurada, el contenido de razonamiento y la entrada de imágenes, con la nota de que algunas dependen del proveedor. En BroadNet, la entrada de imágenes funciona con DeepSeek V4.1 Flash, Qwen3.8 27B y Gemma 4 VL 26B. GLM 5.3 acepta solo texto.
Opciones que conviene configurar
- reasoningEffort. Páselo mediante
providerOptions, con el nombre del proveedor como clave. La documentación del AI SDK indica que los valores exactos dependen del proveedor; la documentación de BroadNet muestralow.
const result = await generateText({
model: broadnet('broadnet/deepseek-v4.1-flash'),
prompt: 'Classify: "refund my order" -> intent?',
providerOptions: { broadnet: { reasoningEffort: 'low' } },
});
- supportsStructuredOutputs. El AI SDK solo envía esquemas JSON cuando este valor es
trueen el proveedor. BroadNet indica salida estructurada para GLM 5.3 y Qwen3.8 27B. Si lo activa, use esos modelos para la salida con esquema. - maxRetries.
generateTextreintenta dos veces de forma predeterminada. Ajústelo a su límite de frecuencia. - Salida de razonamiento. El AI SDK lee el contenido de razonamiento cuando el proveedor lo devuelve. El campo de resultado
reasoningTextde nivel superior ahora está marcado como obsoleto en favor definalStep.reasoningText. No construya lógica que dependa de que el razonamiento esté presente.
Qué modelo elegir
| Necesidad | Modelo | Contexto |
|---|---|---|
| Llamadas a herramientas, salida estructurada | broadnet/glm-5.3 |
1,048,576 |
| Imágenes con herramientas, árabe | broadnet/qwen3.8-27b |
262,144 |
| Contexto largo, plan de tarifa plana | broadnet/deepseek-v4.1-flash |
1,048,576 |
| Llamadas de texto e imagen económicas | broadnet/gemma-4-26b-a4b |
32,768 |
Los precios por token de cada modelo están en la página de precios.
Solución de problemas
- 401. Falta
BROADNET_API_KEYen el entorno de ejecución (revise las variables de entorno de su proveedor de hosting), o la clave es incorrecta, venció o se quedó sin saldo de pago por uso. - Se ignoran las providerOptions. La clave debe coincidir con el
namedel proveedor en camelCase. Conname: 'broadnet', useproviderOptions.broadnet. - Errores del modelo. El ID debe coincidir exactamente con el de BroadNet, con el prefijo
broadnet/. GLM 5.3, Qwen3.8 27B y DeepSeek V4.1 Flash requieren una recarga; el crédito inicial de $5 cubre Gemma 4 VL 26B y los dos modelos Transcribe. - Texto vacío, finishReason “length”. El razonamiento agotó el presupuesto. Aumente
maxOutputTokenso bajereasoningEffort. Por qué las respuestas llegan vacías. - 429 bajo carga. Una clave de pago por uso permite 30 solicitudes por minuto y 4 en curso. Las funciones serverless escalan rápido, así que limite la concurrencia en su aplicación. Consulte errores y reintentos.
- Agentes en paralelo con una clave de plan. Una sesión de plan ilimitado ejecuta una solicitud a la vez. Ejecutar
Promise.allsobre varios agentes requiere una sesión por agente; si no, las solicitudes hacen fila.
