BroadRouter

Dùng Vercel AI SDK với BroadNet Inference

Cập nhật

Cài ai và @ai-sdk/openai-compatible, rồi gọi createOpenAICompatible với name là broadnet, baseURL là https://inference.broadnet.ai/v1 và apiKey là key BroadNet. Truyền model ID như broadnet/glm-5.3 cho provider, rồi dùng generateText hoặc streamText như thường. Giữ key ở server và cho model suy luận maxOutputTokens rộng rãi.

AI SDK của Vercel là bộ công cụ TypeScript để xây ứng dụng LLM. Gói @ai-sdk/openai-compatible của nó tạo provider cho bất kỳ API nào theo định dạng chat completions của OpenAI. BroadNet Inference theo định dạng này, nên bạn chỉ cần đổi base URL, key và model ID. Nếu muốn dùng client OpenAI thuần, hãy xem hướng dẫn Node SDK.

Thiết lập

  1. Cài các gói. Tại thời điểm viết bài, npm cung cấp ai 7.x và @ai-sdk/openai-compatible 3.x.

    npm install ai @ai-sdk/openai-compatible
    export BROADNET_API_KEY='your-broadnet-key'
  2. Tạo provider.

    // broadnet.ts
    import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
    
    export const broadnet = createOpenAICompatible({
      name: 'broadnet',
      baseURL: 'https://inference.broadnet.ai/v1',
      apiKey: process.env.BROADNET_API_KEY,
      includeUsage: true, // usage data in streaming responses
    });

    Như chú thích trong code, includeUsage: true thêm dữ liệu usage vào phản hồi streaming.

  3. Sinh văn bản.

    import { generateText } from 'ai';
    import { broadnet } from './broadnet';
    
    const { text, usage, finishReason } = await generateText({
      model: broadnet('broadnet/glm-5.3'),
      prompt: 'Explain idempotency keys in two sentences.',
      maxOutputTokens: 4000, // reasoning counts toward this
    });
    
    console.log(text, finishReason, usage);
  4. Stream kết quả. Đổi generateText thành streamText và đọc textStream. Hướng dẫn streaming giải thích định dạng dữ liệu bên dưới.

name bạn truyền vào trở thành key cho provider options và provider metadata, nên hãy đặt ngắn và cố định. provider('id') và provider.chatModel('id') đều tạo một model chat; không cần thiết lập riêng cho từng model. Hãy giữ key ở server. Đừng import file này vào code chạy trên trình duyệt, nếu không key sẽ được gửi tới mọi người truy cập.

Tài liệu provider liệt kê các khả năng được hỗ trợ: sinh văn bản, streaming, gọi tool, đầu ra có cấu trúc, nội dung suy luận và đầu vào hình ảnh, kèm lưu ý rằng một số phụ thuộc vào nhà cung cấp. Trên BroadNet, đầu vào hình ảnh chạy với DeepSeek V4.1 Flash, Qwen3.8 27B và Gemma 4 VL 26B. GLM 5.3 chỉ nhận văn bản.

Các tùy chọn nên đặt

  • reasoningEffort. Truyền qua providerOptions, với key là tên provider. Tài liệu AI SDK nói giá trị chính xác tùy nhà cung cấp; tài liệu BroadNet có ví dụ low.
const result = await generateText({
  model: broadnet('broadnet/deepseek-v4.1-flash'),
  prompt: 'Classify: "refund my order" -> intent?',
  providerOptions: { broadnet: { reasoningEffort: 'low' } },
});
  • supportsStructuredOutputs. AI SDK chỉ gửi JSON schema khi giá trị này là true trên provider. BroadNet ghi hỗ trợ đầu ra có cấu trúc cho GLM 5.3 và Qwen3.8 27B. Nếu bật, hãy dùng hai model này cho đầu ra theo schema.
  • maxRetries. generateText mặc định thử lại hai lần. Hãy đặt cho phù hợp với giới hạn tần suất của bạn.
  • Đầu ra suy luận. AI SDK đọc nội dung suy luận khi nhà cung cấp trả về. Trường kết quả cấp cao nhất reasoningText hiện bị đánh dấu deprecated, thay bằng finalStep.reasoningText. Đừng xây logic phụ thuộc vào việc có nội dung suy luận.

Chọn model nào

Nhu cầu Model Context
Gọi tool, đầu ra có cấu trúc broadnet/glm-5.3 1.048.576
Hình ảnh kèm tool, tiếng Ả Rập broadnet/qwen3.8-27b 262.144
Context dài, gói giá cố định broadnet/deepseek-v4.1-flash 1.048.576
Lệnh gọi văn bản và hình ảnh giá rẻ broadnet/gemma-4-26b-a4b 32.768

Giá mỗi token của từng model có trên trang giá.

Xử lý sự cố

  • 401. BROADNET_API_KEY không có trong môi trường chạy (hãy kiểm tra phần biến môi trường của nhà cung cấp hosting), sai, đã hết hạn hoặc đã hết hạn mức trả theo mức dùng.
  • providerOptions bị bỏ qua. Key phải khớp với name của provider ở dạng camelCase. Với name: 'broadnet', hãy dùng providerOptions.broadnet.
  • Lỗi model. ID phải khớp chính xác với ID của BroadNet, kể cả tiền tố broadnet/. GLM 5.3, Qwen3.8 27B và DeepSeek V4.1 Flash cần nạp tiền; $5 tín dụng ban đầu dùng được cho Gemma 4 VL 26B và hai model Transcribe.
  • Văn bản rỗng, finishReason là “length”. Suy luận đã dùng hết ngân sách. Hãy tăng maxOutputTokens hoặc giảm reasoningEffort. Vì sao câu trả lời trả về rỗng.
  • 429 khi tải cao. Một key trả theo mức dùng cho phép 30 request mỗi phút và 4 request đang xử lý cùng lúc. Serverless function mở rộng rất nhanh, nên hãy giới hạn số request đồng thời trong ứng dụng. Xem lỗi và thử lại.
  • Chạy agent song song trên key của gói. Một phiên gói không giới hạn chạy một request tại một thời điểm. Chạy Promise.all qua nhiều agent cần mỗi agent một phiên, nếu không các request sẽ xếp hàng.

Câu hỏi thường gặp

Nên dùng @ai-sdk/openai hay @ai-sdk/openai-compatible?

Dùng @ai-sdk/openai-compatible cho các API bên thứ ba tương thích OpenAI. Gói này gọi endpoint chat completions, đúng thứ BroadNet Inference phục vụ.

Vì sao văn bản sinh ra bị rỗng?

Trên BroadNet, suy luận được tính vào max_tokens. Nếu maxOutputTokens nhỏ, model có thể dùng hết trước khi câu trả lời bắt đầu. Hãy tăng nó hoặc đặt reasoningEffort là low.

Làm sao lấy usage token khi streaming?

Đặt includeUsage là true khi tạo provider. Tài liệu AI SDK cho biết tùy chọn này thêm dữ liệu usage vào phản hồi streaming. Mặc định là false.

Có cần thiết lập riêng cho từng model BroadNet không?

Không. Một provider createOpenAICompatible dùng được cho mọi model. Gọi broadnet('model-id') hoặc broadnet.chatModel('model-id') với bất kỳ model ID chat nào của BroadNet.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity