LibreChat ialah aplikasi chat sumber terbuka yang menyokong perkhidmatan serasi OpenAI sebagai custom endpoints. Anda mentakrifkannya dalam librechat.yaml, menyimpan kunci dalam .env, dan dalam Docker, melekapkan fail YAML ke dalam bekas. BroadRouter ialah laman web BroadNet sendiri; langkah-langkah di bawah mengikut panduan custom endpoint LibreChat.
Persediaan
- Lekapkan librechat.yaml (Docker sahaja). Salin
docker-compose.override.yml.examplekepadadocker-compose.override.ymldan pastikan volume itu aktif:
services:
api:
volumes:
- type: bind
source: ./librechat.yaml
target: /app/librechat.yaml
- Tambah endpoint ke
librechat.yamldalam akar projek, di bawahendpoints.custom:
endpoints:
custom:
- name: 'BroadNet'
apiKey: '${BROADNET_API_KEY}'
baseURL: 'https://inference.broadnet.ai/v1'
models:
default:
- 'broadnet/glm-5.3'
- 'broadnet/qwen3.8-27b'
- 'broadnet/deepseek-v4.1-flash'
- 'broadnet/gemma-4-26b-a4b'
fetch: false
titleConvo: true
titleModel: 'broadnet/gemma-4-26b-a4b'
modelDisplayLabel: 'BroadNet'
Kekalkan sebarang kunci peringkat atas yang sudah ada dalam fail anda, seperti version.
- Tetapkan kunci dalam
.env:
BROADNET_API_KEY=your-broadnet-key
- Mulakan semula LibreChat. Dengan Docker:
docker compose down && docker compose up -d. Untuk pemasangan tempatan, mulakan semula dengannpm run backend. BroadNet kemudian muncul dalam pemilih endpoint.
Nota medan
- baseURL. LibreChat menambah
/chat/completionssendiri, jadi gunakan akar/v1di atas. Jangan tetapkandirectEndpoint: true; pilihan itu untuk baseURL yang sudah pun URL completions penuh. - fetch: false. Ini ialah lalai LibreChat; kami menetapkannya supaya pilihan itu jelas. Dokumentasi BroadNet menerangkan
GET /v1/modelssebagai metadata katalog awam untuk pemantau, jadi menyenaraikan model dalamdefaultlebih boleh dijangka. - titleModel. LibreChat menulis tajuk untuk setiap chat dengan permintaan tambahan. Model kecil dan murah tanpa penaakulan memastikan panggilan itu singkat. Dokumentasi BroadNet tidak menyenaraikan penaakulan untuk Gemma 4 VL 26B.
- user_provided. Tetapkan
apiKey: 'user_provided'jika setiap pengguna patut memasukkan kunci BroadNet sendiri dalam UI. LibreChat menyimpan kunci setiap pengguna secara tersulit dan memintanya kali pertama mereka memilih endpoint itu. - Nama unik. Endpoint kedua dengan nama yang sama, tanpa mengira huruf besar atau kecil, akan menggantikan yang pertama secara senyap. Jika anda sudah ada entri bernama BroadNet, tukar nama salah satunya.
- Tiada kunci literal. Dokumentasi LibreChat mengesyorkan rujukan
${VAR}berbanding kunci yang ditaip terus dalamlibrechat.yaml, yang akan kekal dalam fail sebagai teks biasa.
Model mana yang patut dipilih
| Kegunaan | Model |
|---|---|
| Chat lalai, alatan, JSON | GLM 5.3 |
| Imej dan bahasa Arab | Qwen3.8 27B |
| Dokumen panjang, konteks 1M | DeepSeek V4.1 Flash |
| Tajuk dan balasan pantas | BroadNet Gemma 4 VL 26B |
Antara model ini, hanya Gemma 4 VL 26B yang berjalan dengan kredit permulaan $5, yang juga meliputi dua model Transcribe. Bandingkan harga di halaman harga.
Penyelesaian masalah
- Endpoint tidak muncul. Semak bahawa
name,baseURL,apiKeydanmodels.defaultdieja dengan betul dan diinden di dalamendpoints.custom. LibreChat membuang entri yang tidak lengkap tanpa baris log. Dalam Docker, pastikan bind mount tidak diulas (uncommented) dalamdocker-compose.override.yml. - “Missing API Key for BroadNet”.
BROADNET_API_KEYtiada dalam.env, atau LibreChat tidak dimulakan semula. Endpoint itu masih muncul; ralat hanya ditunjukkan apabila anda menghantar mesej. - 401 daripada penyedia. Kunci salah, telah tamat tempoh, atau elaun bayar ikut guna telah habis.
- Ralat model. Setiap ID mesti sepadan tepat dengan ID BroadNet, dengan awalan
broadnet/. GLM 5.3, Qwen3.8 27B dan DeepSeek V4.1 Flash memerlukan tambah nilai. - Balasan kosong. DeepSeek V4.1 Flash, GLM 5.3 dan Qwen3.8 27B membuat penaakulan dahulu, dan penaakulan dikira dalam
max_tokens. Jika anda menetapkan output maksimum yang kecil dalam parameter LibreChat, naikkannya. Mengapa jawapan kosong. - 429 dengan ramai pengguna. Satu kunci bayar ikut guna membenarkan 30 permintaan seminit dan 4 serentak, dikongsi oleh semua pengguna endpoint itu. Permintaan tajuk turut dikira. Kunci
user_providedmenyebarkan beban. Lihat ralat dan cuba semula. - Kunci pelan. Sesi pelan tanpa had menjalankan satu permintaan pada satu masa dan tidak boleh dikongsi, jadi ia tidak sesuai untuk LibreChat berbilang pengguna.
