BroadRouter
Mulakan

Tambah BroadNet Inference ke LibreChat sebagai custom endpoint

Dikemas kini

Dalam librechat.yaml, tambah entri di bawah endpoints.custom dengan name BroadNet, apiKey sebagai rujukan pembolehubah persekitaran seperti BROADNET_API_KEY, baseURL https://inference.broadnet.ai/v1, dan models.default yang menyenaraikan ID BroadNet seperti broadnet/glm-5.3. Letakkan kunci dalam .env, lekapkan fail itu ke dalam bekas jika menggunakan Docker, dan mulakan semula LibreChat. LibreChat sendiri menambah /chat/completions pada base URL.

LibreChat ialah aplikasi chat sumber terbuka yang menyokong perkhidmatan serasi OpenAI sebagai custom endpoints. Anda mentakrifkannya dalam librechat.yaml, menyimpan kunci dalam .env, dan dalam Docker, melekapkan fail YAML ke dalam bekas. BroadRouter ialah laman web BroadNet sendiri; langkah-langkah di bawah mengikut panduan custom endpoint LibreChat.

Persediaan

  1. Lekapkan librechat.yaml (Docker sahaja). Salin docker-compose.override.yml.example kepada docker-compose.override.yml dan pastikan volume itu aktif:
services:
  api:
    volumes:
      - type: bind
        source: ./librechat.yaml
        target: /app/librechat.yaml
  1. Tambah endpoint ke librechat.yaml dalam akar projek, di bawah endpoints.custom:
endpoints:
  custom:
    - name: 'BroadNet'
      apiKey: '${BROADNET_API_KEY}'
      baseURL: 'https://inference.broadnet.ai/v1'
      models:
        default:
          - 'broadnet/glm-5.3'
          - 'broadnet/qwen3.8-27b'
          - 'broadnet/deepseek-v4.1-flash'
          - 'broadnet/gemma-4-26b-a4b'
        fetch: false
      titleConvo: true
      titleModel: 'broadnet/gemma-4-26b-a4b'
      modelDisplayLabel: 'BroadNet'

Kekalkan sebarang kunci peringkat atas yang sudah ada dalam fail anda, seperti version.

  1. Tetapkan kunci dalam .env:
BROADNET_API_KEY=your-broadnet-key
  1. Mulakan semula LibreChat. Dengan Docker: docker compose down && docker compose up -d. Untuk pemasangan tempatan, mulakan semula dengan npm run backend. BroadNet kemudian muncul dalam pemilih endpoint.

Nota medan

  • baseURL. LibreChat menambah /chat/completions sendiri, jadi gunakan akar /v1 di atas. Jangan tetapkan directEndpoint: true; pilihan itu untuk baseURL yang sudah pun URL completions penuh.
  • fetch: false. Ini ialah lalai LibreChat; kami menetapkannya supaya pilihan itu jelas. Dokumentasi BroadNet menerangkan GET /v1/models sebagai metadata katalog awam untuk pemantau, jadi menyenaraikan model dalam default lebih boleh dijangka.
  • titleModel. LibreChat menulis tajuk untuk setiap chat dengan permintaan tambahan. Model kecil dan murah tanpa penaakulan memastikan panggilan itu singkat. Dokumentasi BroadNet tidak menyenaraikan penaakulan untuk Gemma 4 VL 26B.
  • user_provided. Tetapkan apiKey: 'user_provided' jika setiap pengguna patut memasukkan kunci BroadNet sendiri dalam UI. LibreChat menyimpan kunci setiap pengguna secara tersulit dan memintanya kali pertama mereka memilih endpoint itu.
  • Nama unik. Endpoint kedua dengan nama yang sama, tanpa mengira huruf besar atau kecil, akan menggantikan yang pertama secara senyap. Jika anda sudah ada entri bernama BroadNet, tukar nama salah satunya.
  • Tiada kunci literal. Dokumentasi LibreChat mengesyorkan rujukan ${VAR} berbanding kunci yang ditaip terus dalam librechat.yaml, yang akan kekal dalam fail sebagai teks biasa.

Model mana yang patut dipilih

Kegunaan Model
Chat lalai, alatan, JSON GLM 5.3
Imej dan bahasa Arab Qwen3.8 27B
Dokumen panjang, konteks 1M DeepSeek V4.1 Flash
Tajuk dan balasan pantas BroadNet Gemma 4 VL 26B

Antara model ini, hanya Gemma 4 VL 26B yang berjalan dengan kredit permulaan $5, yang juga meliputi dua model Transcribe. Bandingkan harga di halaman harga.

Penyelesaian masalah

  • Endpoint tidak muncul. Semak bahawa name, baseURL, apiKey dan models.default dieja dengan betul dan diinden di dalam endpoints.custom. LibreChat membuang entri yang tidak lengkap tanpa baris log. Dalam Docker, pastikan bind mount tidak diulas (uncommented) dalam docker-compose.override.yml.
  • “Missing API Key for BroadNet”. BROADNET_API_KEY tiada dalam .env, atau LibreChat tidak dimulakan semula. Endpoint itu masih muncul; ralat hanya ditunjukkan apabila anda menghantar mesej.
  • 401 daripada penyedia. Kunci salah, telah tamat tempoh, atau elaun bayar ikut guna telah habis.
  • Ralat model. Setiap ID mesti sepadan tepat dengan ID BroadNet, dengan awalan broadnet/. GLM 5.3, Qwen3.8 27B dan DeepSeek V4.1 Flash memerlukan tambah nilai.
  • Balasan kosong. DeepSeek V4.1 Flash, GLM 5.3 dan Qwen3.8 27B membuat penaakulan dahulu, dan penaakulan dikira dalam max_tokens. Jika anda menetapkan output maksimum yang kecil dalam parameter LibreChat, naikkannya. Mengapa jawapan kosong.
  • 429 dengan ramai pengguna. Satu kunci bayar ikut guna membenarkan 30 permintaan seminit dan 4 serentak, dikongsi oleh semua pengguna endpoint itu. Permintaan tajuk turut dikira. Kunci user_provided menyebarkan beban. Lihat ralat dan cuba semula.
  • Kunci pelan. Sesi pelan tanpa had menjalankan satu permintaan pada satu masa dan tidak boleh dikongsi, jadi ia tidak sesuai untuk LibreChat berbilang pengguna.

Soalan lazim

Mengapakah endpoint BroadNet saya tidak muncul dalam LibreChat?

LibreChat membuang custom endpoint tanpa sebarang ralat atau baris log jika name, baseURL, apiKey atau models.default tiada atau salah eja. Dalam Docker, semak juga bahawa librechat.yaml dilekapkan di /app/librechat.yaml dan anda telah memulakan semula.

Bolehkah setiap pengguna menggunakan kunci BroadNet sendiri?

Boleh. Tetapkan apiKey kepada user_provided. LibreChat kemudian meminta kunci daripada setiap pengguna kali pertama mereka memilih endpoint itu dan menyimpannya secara tersulit.

Mengapakah LibreChat memaparkan "Missing API Key for BroadNet"?

Pembolehubah yang dirujuk dalam apiKey tidak ditetapkan dalam .env. Endpoint itu masih muncul dalam pemilih, dan ralat hanya muncul apabila anda menghantar mesej. Tambah pembolehubah itu, kemudian mulakan semula LibreChat.

Patutkah baseURL LibreChat mengandungi /chat/completions?

Tidak. LibreChat menambah /chat/completions pada baseURL secara lalai. Gunakan https://inference.broadnet.ai/v1. Hanya tetapkan directEndpoint kepada true jika URL yang anda masukkan sudah pun endpoint completions yang penuh.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity