AI SDK от Vercel — набор инструментов на TypeScript для приложений с LLM. Пакет @ai-sdk/openai-compatible создаёт провайдера для любого API в формате chat completions от OpenAI. BroadNet Inference следует этому формату, поэтому менять нужно только базовый URL, ключ и ID моделей. Если вам нужен обычный клиент OpenAI, см. руководство по Node SDK.
Настройка
-
Установите пакеты. На момент написания npm отдаёт
ai7.x и@ai-sdk/openai-compatible3.x.npm install ai @ai-sdk/openai-compatible export BROADNET_API_KEY='your-broadnet-key' -
Создайте провайдера. Комментарий в коде означает, что данные о расходе токенов будут приходить и в потоковых ответах.
// broadnet.ts import { createOpenAICompatible } from '@ai-sdk/openai-compatible'; export const broadnet = createOpenAICompatible({ name: 'broadnet', baseURL: 'https://inference.broadnet.ai/v1', apiKey: process.env.BROADNET_API_KEY, includeUsage: true, // usage data in streaming responses }); -
Сгенерируйте текст. Промпт просит объяснить ключи идемпотентности в двух предложениях; комментарий напоминает, что рассуждения учитываются в
maxOutputTokens.import { generateText } from 'ai'; import { broadnet } from './broadnet'; const { text, usage, finishReason } = await generateText({ model: broadnet('broadnet/glm-5.3'), prompt: 'Explain idempotency keys in two sentences.', maxOutputTokens: 4000, // reasoning counts toward this }); console.log(text, finishReason, usage); -
Включите стриминг. Замените
generateTextнаstreamTextи читайтеtextStream. Какой формат передаётся под капотом, объясняет руководство по стримингу.
Значение name становится ключом для параметров и метаданных провайдера, поэтому делайте его коротким и неизменным. И provider('id'), и provider.chatModel('id') создают чат-модель; отдельно настраивать каждую модель не нужно. Храните ключ на сервере. Не импортируйте этот файл в код, который выполняется в браузере, иначе ключ получит каждый посетитель.
В документации провайдера поддерживаемыми возможностями названы генерация текста, стриминг, вызов инструментов, структурированный вывод, содержимое рассуждений и изображения на входе, с оговоркой, что часть из них зависит от провайдера. В BroadNet изображения на входе принимают DeepSeek V4.1 Flash, Qwen3.8 27B и Gemma 4 VL 26B. GLM 5.3 работает только с текстом.
Какие параметры стоит задать
- reasoningEffort. Передавайте его через
providerOptionsпод ключом с именем провайдера. В документации AI SDK сказано, что точные значения зависят от провайдера; в документации BroadNet показаноlow. В примере ниже модель классифицирует намерение в фразе «refund my order» («верните деньги за заказ»).
const result = await generateText({
model: broadnet('broadnet/deepseek-v4.1-flash'),
prompt: 'Classify: "refund my order" -> intent?',
providerOptions: { broadnet: { reasoningEffort: 'low' } },
});
- supportsStructuredOutputs. AI SDK отправляет JSON-схемы, только если у провайдера этот параметр равен
true. BroadNet указывает структурированный вывод для GLM 5.3 и Qwen3.8 27B. Если вы его включаете, используйте для вывода по схеме эти модели. - maxRetries. По умолчанию
generateTextповторяет запрос дважды. Подберите значение под свой лимит запросов. - Вывод рассуждений. AI SDK читает содержимое рассуждений, если провайдер его возвращает. Поле результата верхнего уровня
reasoningTextтеперь помечено как устаревшее в пользуfinalStep.reasoningText. Не стройте логику, которая рассчитывает на наличие рассуждений.
Какую модель выбрать
| Задача | Модель | Контекст |
|---|---|---|
| Вызов инструментов, структурированный вывод | broadnet/glm-5.3 |
1 048 576 |
| Изображения и инструменты, арабский | broadnet/qwen3.8-27b |
262 144 |
| Длинный контекст, тариф с фиксированной ценой | broadnet/deepseek-v4.1-flash |
1 048 576 |
| Дешёвые вызовы с текстом и изображениями | broadnet/gemma-4-26b-a4b |
32 768 |
Цены за токен для каждой модели — на странице цен.
Решение проблем
- 401.
BROADNET_API_KEYне задан в среде выполнения (проверьте настройки переменных окружения у хостинга), неверен, истёк или исчерпан лимит оплаты по факту. - providerOptions игнорируются. Ключ должен совпадать с
nameпровайдера в camelCase. Приname: 'broadnet'используйтеproviderOptions.broadnet. - Ошибки модели. ID должен точно совпадать с ID BroadNet, вместе с префиксом
broadnet/. Для GLM 5.3, Qwen3.8 27B и DeepSeek V4.1 Flash нужно пополнить баланс; стартовый грант $5 покрывает только Gemma 4 VL 26B. - Пустой текст, finishReason “length”. Рассуждения израсходовали бюджет. Увеличьте
maxOutputTokensили уменьшитеreasoningEffort. Почему ответы приходят пустыми. - 429 под нагрузкой. Ключ с оплатой по факту допускает 30 запросов в минуту и 4 одновременно. Serverless-функции быстро масштабируются, поэтому ограничьте параллелизм в приложении. См. ошибки и повторные запросы.
- Параллельные агенты на ключе тарифа. Одна сессия безлимитного тарифа обрабатывает один запрос за раз. Если запускать несколько агентов через
Promise.all, каждому нужна своя сессия, иначе запросы встанут в очередь.
