BroadRouter
Bắt đầu

Kết nối Open WebUI với BroadNet Inference

Cập nhật

Trong Open WebUI, vào Settings > Connections ở phần quản trị, bấm Add Connection dưới Manage OpenAI API Connections, đặt URL là https://inference.broadnet.ai/v1 và API Key là key BroadNet, rồi thêm các model ID như broadnet/glm-5.3 vào allowlist Model IDs và lưu lại.

Open WebUI là giao diện chat tự host. Nó kết nối được với mọi nhà cung cấp triển khai giao thức chat completions của OpenAI, và BroadNet Inference là một trong số đó. Các bước dưới đây làm theo hướng dẫn của Open WebUI cho nhà cung cấp tương thích OpenAI.

Thiết lập

  1. Lấy key BroadNet. Với giao diện chat mà nhiều người cùng dùng, key trả theo mức dùng là lựa chọn phù hợp. Xem API key và danh sách IP cho phép.

  2. Mở trang kết nối. Vào Settings > Connections ở phần quản trị và tìm Manage OpenAI API Connections.

  3. Bấm Add Connection và điền:

    Trường Giá trị
    URL https://inference.broadnet.ai/v1 (không có dấu gạch chéo ở cuối)
    API Key key BroadNet của bạn
    Model IDs thêm lần lượt từng ID bên dưới bằng biểu tượng +
  4. Tự thêm model ID. Gõ broadnet/glm-5.3, bấm +, rồi lặp lại với các model khác bạn muốn. Tài liệu BroadNet mô tả GET /v1/models là metadata danh mục công khai dành cho công cụ giám sát, nên đừng trông vào nó để điền danh sách chọn model.

  5. Bấm Save. Tài liệu Open WebUI lưu ý rằng việc lưu không kiểm tra kết nối.

  6. Bắt đầu chat và chọn model trong bộ chọn model.

Dùng biến môi trường

Nếu chạy Open WebUI bằng Docker, bạn có thể đặt kết nối lúc khởi động:

OPENAI_API_BASE_URL=https://inference.broadnet.ai/v1
OPENAI_API_KEY=your-broadnet-key

Để thêm BroadNet bên cạnh một kết nối OpenAI có sẵn, hãy dùng dạng số nhiều, phân tách bằng dấu chấm phẩy: OPENAI_API_BASE_URLS và OPENAI_API_KEYS. OPENAI_API_CONFIGS đặt tùy chọn cho từng kết nối như model_ids, với key là chỉ số của kết nối trong danh sách đó:

OPENAI_API_CONFIGS='{"0": {"enable": true, "model_ids": ["broadnet/glm-5.3", "broadnet/qwen3.8-27b"]}}'

Tài liệu biến môi trường của Open WebUI đánh dấu các biến này là ConfigVar. Chúng được đọc ở lần khởi chạy đầu tiên và lưu vào cơ sở dữ liệu. Sau đó, bảng quản trị được ưu tiên. Hãy sửa kết nối trong Settings > Connections ở phần quản trị, hoặc đặt ENABLE_PERSISTENT_CONFIG=False nếu muốn biến môi trường được áp dụng mỗi lần khởi động.

Chọn model nào

Mục đích Model Context
Chat thông thường, tool, JSON broadnet/glm-5.3 1.048.576
Hỏi về hình ảnh, tiếng Ả Rập broadnet/qwen3.8-27b 262.144
Tài liệu dài, hình ảnh broadnet/deepseek-v4.1-flash 1.048.576
Chi phí thấp, tín dụng miễn phí broadnet/gemma-4-26b-a4b 32.768

BroadNet đã thử Qwen3.8 27B với tiếng Ả Rập, kể cả phương ngữ vùng Vịnh và Ai Cập; xem chọn LLM cho tiếng Ả Rập. Gemma 4 VL 26B là model chat duy nhất dùng được với $5 tín dụng ban đầu; tín dụng này cũng dùng được cho hai model Transcribe. Giá của từng model có trên trang giá.

Open WebUI truyền các tham số chuẩn như temperature và max_tokens, và hỗ trợ dùng tool khi model và server hỗ trợ tools. BroadNet ghi hỗ trợ tool cho GLM 5.3 và Qwen3.8 27B.

Xử lý sự cố

  • Verify Connection thất bại với 400, 401 hoặc 403. Nút xác minh của Open WebUI gọi /models. Tài liệu Open WebUI nói chat completions vẫn có thể chạy. Hãy thêm ID vào allowlist và thử chat. Nếu chat cũng trả về 401, key sai, đã hết hạn hoặc đã hết hạn mức trả theo mức dùng.
  • Model có trong danh sách nhưng tin nhắn đầu tiên lỗi. Kiểm tra ID khớp chính xác với ID của BroadNet, kể cả tiền tố broadnet/. GLM 5.3, Qwen3.8 27B và DeepSeek V4.1 Flash cần nạp tiền.
  • Phản hồi rỗng. Model suy luận (DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B) dùng token đầu ra cho suy luận trước. Nếu bạn đặt max_tokens trong Advanced Params của model, hãy tăng hoặc xóa nó. Vì sao câu trả lời trả về rỗng.
  • 429 khi nhiều người cùng chat. Một key trả theo mức dùng cho phép 30 request mỗi phút và 4 request đồng thời. Open WebUI còn thực hiện các lệnh gọi nền, như tạo tiêu đề chat, trên cùng key. Xem lỗi và thử lại.
  • Đổi biến môi trường mà không có tác dụng. Lần khởi chạy đầu tiên đã lưu giá trị cũ. Hãy sửa kết nối trong bảng quản trị, hoặc xem phần biến môi trường ở trên.
  • Dùng key của gói. Một phiên gói không giới hạn chạy một request tại một thời điểm, và key không được dùng chung. Nó phù hợp với instance riêng của một người; request của người dùng thêm sẽ phải xếp hàng.

Câu hỏi thường gặp

Vì sao Verify Connection thất bại nhưng chat vẫn chạy?

Nút xác minh của Open WebUI gọi endpoint /models của nhà cung cấp. Tài liệu Open WebUI nói kiểm tra thất bại không có nghĩa là chat bị hỏng. Hãy tự thêm các model ID của BroadNet vào allowlist Model IDs.

Có thể đặt kết nối bằng biến môi trường không?

Có. Đặt OPENAI_API_BASE_URL là https://inference.broadnet.ai/v1 và OPENAI_API_KEY là key BroadNet. Open WebUI lưu các giá trị này ở lần khởi chạy đầu tiên, nên các thay đổi biến sau đó bị bỏ qua, trừ khi ENABLE_PERSISTENT_CONFIG là False.

Vì sao giá trị OPENAI_API_BASE_URL mới không có tác dụng?

Open WebUI coi nó là một ConfigVar. Sau lần khởi chạy đầu tiên, nó dùng giá trị đã lưu trong cơ sở dữ liệu. Hãy đổi URL trong Settings > Connections ở phần quản trị, hoặc đặt ENABLE_PERSISTENT_CONFIG=False để đọc biến môi trường mỗi lần khởi động.

Cả nhóm có thể dùng chung một key gói không giới hạn trong Open WebUI không?

Không. Các gói của BroadNet không cho phép dùng chung key, và một phiên của gói chạy một request tại một thời điểm. Hãy dùng key trả theo mức dùng cho Open WebUI dùng chung.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity