AI SDK của Vercel là bộ công cụ TypeScript để xây ứng dụng LLM. Gói @ai-sdk/openai-compatible của nó tạo provider cho bất kỳ API nào theo định dạng chat completions của OpenAI. BroadNet Inference theo định dạng này, nên bạn chỉ cần đổi base URL, key và model ID. Nếu muốn dùng client OpenAI thuần, hãy xem hướng dẫn Node SDK.
Thiết lập
-
Cài các gói. Tại thời điểm viết bài, npm cung cấp
ai7.x và@ai-sdk/openai-compatible3.x.npm install ai @ai-sdk/openai-compatible export BROADNET_API_KEY='your-broadnet-key' -
Tạo provider.
// broadnet.ts import { createOpenAICompatible } from '@ai-sdk/openai-compatible'; export const broadnet = createOpenAICompatible({ name: 'broadnet', baseURL: 'https://inference.broadnet.ai/v1', apiKey: process.env.BROADNET_API_KEY, includeUsage: true, // usage data in streaming responses });Như chú thích trong code,
includeUsage: truethêm dữ liệu usage vào phản hồi streaming. -
Sinh văn bản.
import { generateText } from 'ai'; import { broadnet } from './broadnet'; const { text, usage, finishReason } = await generateText({ model: broadnet('broadnet/glm-5.3'), prompt: 'Explain idempotency keys in two sentences.', maxOutputTokens: 4000, // reasoning counts toward this }); console.log(text, finishReason, usage); -
Stream kết quả. Đổi
generateTextthànhstreamTextvà đọctextStream. Hướng dẫn streaming giải thích định dạng dữ liệu bên dưới.
name bạn truyền vào trở thành key cho provider options và provider metadata, nên hãy đặt ngắn và cố định. provider('id') và provider.chatModel('id') đều tạo một model chat; không cần thiết lập riêng cho từng model. Hãy giữ key ở server. Đừng import file này vào code chạy trên trình duyệt, nếu không key sẽ được gửi tới mọi người truy cập.
Tài liệu provider liệt kê các khả năng được hỗ trợ: sinh văn bản, streaming, gọi tool, đầu ra có cấu trúc, nội dung suy luận và đầu vào hình ảnh, kèm lưu ý rằng một số phụ thuộc vào nhà cung cấp. Trên BroadNet, đầu vào hình ảnh chạy với DeepSeek V4.1 Flash, Qwen3.8 27B và Gemma 4 VL 26B. GLM 5.3 chỉ nhận văn bản.
Các tùy chọn nên đặt
- reasoningEffort. Truyền qua
providerOptions, với key là tên provider. Tài liệu AI SDK nói giá trị chính xác tùy nhà cung cấp; tài liệu BroadNet có ví dụlow.
const result = await generateText({
model: broadnet('broadnet/deepseek-v4.1-flash'),
prompt: 'Classify: "refund my order" -> intent?',
providerOptions: { broadnet: { reasoningEffort: 'low' } },
});
- supportsStructuredOutputs. AI SDK chỉ gửi JSON schema khi giá trị này là
truetrên provider. BroadNet ghi hỗ trợ đầu ra có cấu trúc cho GLM 5.3 và Qwen3.8 27B. Nếu bật, hãy dùng hai model này cho đầu ra theo schema. - maxRetries.
generateTextmặc định thử lại hai lần. Hãy đặt cho phù hợp với giới hạn tần suất của bạn. - Đầu ra suy luận. AI SDK đọc nội dung suy luận khi nhà cung cấp trả về. Trường kết quả cấp cao nhất
reasoningTexthiện bị đánh dấu deprecated, thay bằngfinalStep.reasoningText. Đừng xây logic phụ thuộc vào việc có nội dung suy luận.
Chọn model nào
| Nhu cầu | Model | Context |
|---|---|---|
| Gọi tool, đầu ra có cấu trúc | broadnet/glm-5.3 |
1.048.576 |
| Hình ảnh kèm tool, tiếng Ả Rập | broadnet/qwen3.8-27b |
262.144 |
| Context dài, gói giá cố định | broadnet/deepseek-v4.1-flash |
1.048.576 |
| Lệnh gọi văn bản và hình ảnh giá rẻ | broadnet/gemma-4-26b-a4b |
32.768 |
Giá mỗi token của từng model có trên trang giá.
Xử lý sự cố
- 401.
BROADNET_API_KEYkhông có trong môi trường chạy (hãy kiểm tra phần biến môi trường của nhà cung cấp hosting), sai, đã hết hạn hoặc đã hết hạn mức trả theo mức dùng. - providerOptions bị bỏ qua. Key phải khớp với
namecủa provider ở dạng camelCase. Vớiname: 'broadnet', hãy dùngproviderOptions.broadnet. - Lỗi model. ID phải khớp chính xác với ID của BroadNet, kể cả tiền tố
broadnet/. GLM 5.3, Qwen3.8 27B và DeepSeek V4.1 Flash cần nạp tiền; $5 tín dụng ban đầu dùng được cho Gemma 4 VL 26B và hai model Transcribe. - Văn bản rỗng, finishReason là “length”. Suy luận đã dùng hết ngân sách. Hãy tăng
maxOutputTokenshoặc giảmreasoningEffort. Vì sao câu trả lời trả về rỗng. - 429 khi tải cao. Một key trả theo mức dùng cho phép 30 request mỗi phút và 4 request đang xử lý cùng lúc. Serverless function mở rộng rất nhanh, nên hãy giới hạn số request đồng thời trong ứng dụng. Xem lỗi và thử lại.
- Chạy agent song song trên key của gói. Một phiên gói không giới hạn chạy một request tại một thời điểm. Chạy
Promise.allqua nhiều agent cần mỗi agent một phiên, nếu không các request sẽ xếp hàng.
