Open-source na chat app ang LibreChat na sumusuporta sa mga OpenAI-compatible na serbisyo bilang custom endpoints. Dine-define mo ang mga ito sa librechat.yaml, inilalagay ang mga key sa .env, at kung Docker, mina-mount ang YAML file sa container. Sariling site ng BroadNet ang BroadRouter; sinusundan ng mga hakbang ang custom endpoint guide ng LibreChat.
Setup
- I-mount ang librechat.yaml (Docker lang). Kopyahin ang
docker-compose.override.yml.examplebilangdocker-compose.override.ymlat siguraduhing aktibo ang volume:
services:
api:
volumes:
- type: bind
source: ./librechat.yaml
target: /app/librechat.yaml
- Idagdag ang endpoint sa
librechat.yamlsa project root, sa ilalim ngendpoints.custom:
endpoints:
custom:
- name: 'BroadNet'
apiKey: '${BROADNET_API_KEY}'
baseURL: 'https://inference.broadnet.ai/v1'
models:
default:
- 'broadnet/glm-5.3'
- 'broadnet/qwen3.8-27b'
- 'broadnet/deepseek-v4.1-flash'
- 'broadnet/gemma-4-26b-a4b'
fetch: false
titleConvo: true
titleModel: 'broadnet/gemma-4-26b-a4b'
modelDisplayLabel: 'BroadNet'
Panatilihin ang mga top-level key na nasa file mo na, gaya ng version.
- I-set ang key sa
.env:
BROADNET_API_KEY=your-broadnet-key
- I-restart ang LibreChat. Sa Docker:
docker compose down && docker compose up -d. Kung lokal na install, i-restart gamit angnpm run backend. Lalabas na ang BroadNet sa endpoint selector.
Mga paalala sa bawat field
- baseURL. Ang LibreChat mismo ang nagdadagdag ng
/chat/completions, kaya gamitin ang/v1root sa itaas. Huwag i-set angdirectEndpoint: true; para iyon sa baseURL na buong completions URL na. - fetch: false. Ito ang default ng LibreChat; inilagay namin para malinaw ang pinili. Inilalarawan ng docs ng BroadNet ang
GET /v1/modelsbilang public na catalog metadata para sa mga monitor, kaya mas predictable kung ililista mo ang mga model sadefault. - titleModel. Gumagawa ang LibreChat ng title para sa bawat chat gamit ang dagdag na request. Mapapaikli ang tawag na iyon ng isang maliit at murang model na walang reasoning. Hindi nakalista ang reasoning para sa Gemma 4 VL 26B sa docs ng BroadNet.
- user_provided. I-set ang
apiKey: 'user_provided'kung dapat ilagay ng bawat user ang sarili niyang BroadNet key sa UI. Naka-encrypt na itinatago ng LibreChat ang key ng bawat user at hinihingi ito sa unang beses na pipiliin nila ang endpoint. - Natatanging name. Kapag may pangalawang endpoint na may parehong name, kahit iba ang capitalization, tahimik nitong papalitan ang una. Kung may entry ka nang BroadNet ang pangalan, palitan ang pangalan ng isa.
- Walang literal na key. Inirerekomenda ng docs ng LibreChat ang
${VAR}reference kaysa sa key na tinipa mismo salibrechat.yaml, na mananatili sa file bilang plain text.
Aling model ang pipiliin
| Gamit | Model |
|---|---|
| Default na chat, tools, JSON | GLM 5.3 |
| Mga larawan at Arabic | Qwen3.8 27B |
| Mahahabang dokumento, 1M na context | DeepSeek V4.1 Flash |
| Mga title at mabilisang sagot | BroadNet Gemma 4 VL 26B |
Sa mga model na ito, Gemma 4 VL 26B lang ang tumatakbo sa $5 na panimulang credit, na sumasakop din sa dalawang Transcribe model. Ikumpara ang mga presyo sa pricing page.
Troubleshooting
- Hindi lumalabas ang endpoint. Tingnan kung tama ang spelling ng
name,baseURL,apiKeyatmodels.defaultat kung naka-indent sa loob ngendpoints.custom. Tinatanggal ng LibreChat ang mga kulang na entry nang walang log line. Kung Docker, siguraduhing hindi naka-comment ang bind mount sadocker-compose.override.yml. - “Missing API Key for BroadNet”. Wala ang
BROADNET_API_KEYsa.env, o hindi na-restart ang LibreChat. Lumalabas pa rin ang endpoint; lumalabas lang ang error kapag nagpadala ka ng message. - 401 mula sa provider. Mali o expired na ang key, o ubos na ang pay-as-you-go allowance.
- Mga error sa model. Dapat eksaktong tugma ang bawat ID sa ID ng BroadNet, kasama ang
broadnet/prefix. Kailangan ng top-up para sa GLM 5.3, Qwen3.8 27B at DeepSeek V4.1 Flash. - Walang lamang sagot. Nagre-reason muna ang DeepSeek V4.1 Flash, GLM 5.3 at Qwen3.8 27B, at kasama ang reasoning sa
max_tokens. Kung maliit ang max output na sinet mo sa parameters ng LibreChat, taasan ito. Bakit walang laman ang mga sagot. - 429 kapag maraming user. Ang isang pay-as-you-go key ay may 30 request kada minuto at 4 nang sabay-sabay, at hati rito ang lahat ng gumagamit ng endpoint. Kasama rin sa bilang ang mga title request. Naikakalat ng mga
user_providedkey ang load. Tingnan ang errors and retries. - Mga plan key. Isa-isa lang ang request na pinapatakbo ng isang unlimited plan session at hindi ito puwedeng ipamahagi, kaya hindi ito bagay sa LibreChat na maraming user.
