BroadRouter
Bắt đầu

Thêm BroadNet Inference vào LibreChat dưới dạng custom endpoint

Cập nhật

Trong librechat.yaml, thêm một mục dưới endpoints.custom với name là BroadNet, apiKey là tham chiếu biến môi trường như BROADNET_API_KEY, baseURL là https://inference.broadnet.ai/v1, và models.default liệt kê các ID BroadNet như broadnet/glm-5.3. Đặt key trong .env, mount file vào container nếu dùng Docker, rồi khởi động lại LibreChat. LibreChat tự nối /chat/completions vào base URL.

LibreChat là ứng dụng chat mã nguồn mở hỗ trợ các dịch vụ tương thích OpenAI dưới dạng custom endpoint. Bạn khai báo chúng trong librechat.yaml, giữ key trong .env, và nếu dùng Docker thì mount file YAML vào container. BroadRouter là trang web của chính BroadNet; các bước dưới đây theo hướng dẫn custom endpoint của LibreChat.

Thiết lập

  1. Mount librechat.yaml (chỉ với Docker). Sao chép docker-compose.override.yml.example thành docker-compose.override.yml và bảo đảm volume đang được bật:
services:
  api:
    volumes:
      - type: bind
        source: ./librechat.yaml
        target: /app/librechat.yaml
  1. Thêm endpoint vào librechat.yaml ở thư mục gốc dự án, dưới endpoints.custom:
endpoints:
  custom:
    - name: 'BroadNet'
      apiKey: '${BROADNET_API_KEY}'
      baseURL: 'https://inference.broadnet.ai/v1'
      models:
        default:
          - 'broadnet/glm-5.3'
          - 'broadnet/qwen3.8-27b'
          - 'broadnet/deepseek-v4.1-flash'
          - 'broadnet/gemma-4-26b-a4b'
        fetch: false
      titleConvo: true
      titleModel: 'broadnet/gemma-4-26b-a4b'
      modelDisplayLabel: 'BroadNet'

Giữ nguyên các key cấp cao nhất mà file đã có, chẳng hạn version.

  1. Đặt key trong .env:
BROADNET_API_KEY=your-broadnet-key
  1. Khởi động lại LibreChat. Với Docker: docker compose down && docker compose up -d. Với bản cài cục bộ, khởi động lại bằng npm run backend. Sau đó BroadNet xuất hiện trong danh sách chọn endpoint.

Ghi chú về các trường

  • baseURL. LibreChat tự nối thêm /chat/completions, nên hãy dùng gốc /v1 như trên. Đừng đặt directEndpoint: true; tùy chọn đó dành cho baseURL vốn đã là URL completions đầy đủ.
  • fetch: false. Đây là mặc định của LibreChat; chúng tôi ghi rõ để thấy lựa chọn này. Tài liệu BroadNet mô tả GET /v1/models là metadata catalog công khai dành cho công cụ giám sát, nên liệt kê model trong default sẽ dễ đoán hơn.
  • titleModel. LibreChat đặt tiêu đề cho mỗi cuộc chat bằng một request thêm. Một model nhỏ, rẻ, không suy luận giúp lệnh gọi này ngắn. Tài liệu BroadNet không ghi khả năng suy luận cho Gemma 4 VL 26B.
  • user_provided. Đặt apiKey: 'user_provided' nếu mỗi người dùng cần nhập key BroadNet riêng trong giao diện. LibreChat lưu key của từng người ở dạng mã hóa và hỏi key ở lần đầu họ chọn endpoint.
  • Tên duy nhất. Một endpoint thứ hai trùng tên (không phân biệt hoa thường) sẽ âm thầm thay thế endpoint đầu. Nếu bạn đã có một mục tên BroadNet, hãy đổi tên một trong hai.
  • Không ghi key trực tiếp. Tài liệu LibreChat khuyên dùng tham chiếu ${VAR} thay vì gõ key vào librechat.yaml, vì như vậy key sẽ nằm trong file ở dạng văn bản thuần.

Chọn model nào

Mục đích Model
Chat mặc định, tool, JSON GLM 5.3
Hình ảnh và tiếng Ả Rập Qwen3.8 27B
Tài liệu dài, context 1M DeepSeek V4.1 Flash
Tiêu đề và câu trả lời nhanh BroadNet Gemma 4 VL 26B

Trong các model này, chỉ Gemma 4 VL 26B chạy được bằng $5 tín dụng ban đầu; tín dụng này cũng dùng được cho hai model Transcribe. So sánh giá trên trang giá.

Xử lý sự cố

  • Endpoint không xuất hiện. Kiểm tra name, baseURL, apiKey và models.default viết đúng và được thụt lề bên trong endpoints.custom. LibreChat bỏ qua các mục thiếu mà không ghi một dòng log nào. Với Docker, xác nhận bind mount trong docker-compose.override.yml đã được bỏ comment.
  • “Missing API Key for BroadNet”. BROADNET_API_KEY không có trong .env, hoặc LibreChat chưa được khởi động lại. Endpoint vẫn hiện; lỗi chỉ xuất hiện khi bạn gửi tin nhắn.
  • 401 từ provider. Key sai, đã hết hạn, hoặc hạn mức trả theo mức dùng đã hết.
  • Lỗi model. Mỗi ID phải khớp chính xác ID của BroadNet, kèm tiền tố broadnet/. GLM 5.3, Qwen3.8 27B và DeepSeek V4.1 Flash cần nạp tiền.
  • Câu trả lời rỗng. DeepSeek V4.1 Flash, GLM 5.3 và Qwen3.8 27B suy luận trước, và phần suy luận được tính vào max_tokens. Nếu bạn đặt đầu ra tối đa nhỏ trong tham số của LibreChat, hãy tăng lên. Vì sao câu trả lời trả về rỗng.
  • 429 khi nhiều người dùng. Một key trả theo mức dùng cho phép 30 request mỗi phút và 4 request cùng lúc, chia chung cho mọi người dùng endpoint. Request đặt tiêu đề cũng được tính. Key user_provided giúp phân tán tải. Xem lỗi và thử lại.
  • Key của gói. Một phiên gói không giới hạn chạy từng request một và không thể chia sẻ, nên không hợp với LibreChat nhiều người dùng.

Câu hỏi thường gặp

Vì sao endpoint BroadNet không xuất hiện trong LibreChat?

LibreChat bỏ qua một custom endpoint mà không báo lỗi hay ghi log nếu name, baseURL, apiKey hoặc models.default bị thiếu hay viết sai. Nếu dùng Docker, hãy kiểm tra thêm librechat.yaml đã được mount vào /app/librechat.yaml chưa và bạn đã khởi động lại chưa.

Mỗi người dùng có thể dùng key BroadNet của riêng mình không?

Có. Đặt apiKey là user_provided. Khi đó LibreChat hỏi key ở lần đầu mỗi người dùng chọn endpoint và lưu key ở dạng mã hóa.

Vì sao LibreChat báo “Missing API Key for BroadNet”?

Biến được tham chiếu trong apiKey chưa được đặt trong .env. Endpoint vẫn hiện trong danh sách chọn, và lỗi chỉ xuất hiện khi bạn gửi tin nhắn. Hãy thêm biến, rồi khởi động lại LibreChat.

baseURL của LibreChat có cần kèm /chat/completions không?

Không. Theo mặc định LibreChat nối /chat/completions vào baseURL. Hãy dùng https://inference.broadnet.ai/v1. Chỉ đặt directEndpoint là true khi URL bạn nhập đã là endpoint completions đầy đủ.

Đọc dạng MarkdownHỏi ChatGPTHỏi ClaudeHỏi Perplexity