LibreChat è un’app di chat open source che supporta i servizi compatibili con OpenAI come custom endpoint. Li definisci in librechat.yaml, tieni le chiavi nel .env e, su Docker, monti il file YAML nel container. BroadRouter è il sito di BroadNet; i passaggi seguono la guida ai custom endpoint di LibreChat.
Configurazione
- Monta librechat.yaml (solo Docker). Copia
docker-compose.override.yml.exampleindocker-compose.override.ymle verifica che il volume sia attivo:
services:
api:
volumes:
- type: bind
source: ./librechat.yaml
target: /app/librechat.yaml
- Aggiungi l’endpoint a
librechat.yamlnella root del progetto, sottoendpoints.custom:
endpoints:
custom:
- name: 'BroadNet'
apiKey: '${BROADNET_API_KEY}'
baseURL: 'https://inference.broadnet.ai/v1'
models:
default:
- 'broadnet/glm-5.3'
- 'broadnet/qwen3.8-27b'
- 'broadnet/deepseek-v4.1-flash'
- 'broadnet/gemma-4-26b-a4b'
fetch: false
titleConvo: true
titleModel: 'broadnet/gemma-4-26b-a4b'
modelDisplayLabel: 'BroadNet'
Mantieni le chiavi di primo livello che il tuo file ha già, come version.
- Imposta la chiave nel
.env:
BROADNET_API_KEY=your-broadnet-key
- Riavvia LibreChat. Con Docker:
docker compose down && docker compose up -d. Per un’installazione locale, riavvia connpm run backend. A quel punto BroadNet compare nel selettore degli endpoint.
Note sui campi
- baseURL. LibreChat aggiunge da solo
/chat/completions, quindi usa la root/v1indicata sopra. Non impostaredirectEndpoint: true; quell’opzione serve per un baseURL che è già l’URL completo delle completions. - fetch: false. È il default di LibreChat; lo impostiamo per rendere esplicita la scelta. La documentazione di BroadNet descrive
GET /v1/modelscome metadati pubblici del catalogo per i sistemi di monitoraggio, quindi elencare i modelli indefaultè più prevedibile. - titleModel. LibreChat scrive un titolo per ogni chat con una richiesta in più. Un modello piccolo, economico e senza ragionamento mantiene breve quella chiamata. La documentazione di BroadNet non indica il ragionamento per Gemma 4 VL 26B.
- user_provided. Imposta
apiKey: 'user_provided'se ogni utente deve inserire la propria chiave BroadNet nell’interfaccia. LibreChat conserva cifrata la chiave di ogni utente e la chiede la prima volta che l’utente sceglie l’endpoint. - Nome univoco. Un secondo endpoint con lo stesso nome, senza distinzione tra maiuscole e minuscole, sostituisce il primo senza avvisare. Se hai già una voce chiamata BroadNet, rinominane una.
- Niente chiavi in chiaro. La documentazione di LibreChat consiglia il riferimento
${VAR}invece di una chiave scritta inlibrechat.yaml, dove resterebbe nel file in chiaro.
Quale modello scegliere
| Uso | Modello |
|---|---|
| Chat predefinita, strumenti, JSON | GLM 5.3 |
| Immagini e arabo | Qwen3.8 27B |
| Documenti lunghi, contesto da 1M | DeepSeek V4.1 Flash |
| Titoli e risposte rapide | BroadNet Gemma 4 VL 26B |
Tra questi modelli, solo Gemma 4 VL 26B funziona con il credito iniziale di $5, che copre anche i due modelli Transcribe. Confronta i prezzi nella pagina dei prezzi.
Risoluzione dei problemi
- L’endpoint non compare. Controlla che
name,baseURL,apiKeyemodels.defaultsiano scritti correttamente e indentati dentroendpoints.custom. LibreChat scarta le voci incomplete senza righe di log. Su Docker verifica che il bind mount non sia commentato indocker-compose.override.yml. - “Missing API Key for BroadNet” (traduzione: chiave API mancante per BroadNet).
BROADNET_API_KEYnon è nel.env, oppure LibreChat non è stato riavviato. L’endpoint compare comunque; l’errore appare solo quando invii un messaggio. - 401 dal provider. La chiave è sbagliata, scaduta, oppure la quota a consumo è esaurita.
- Errori sul modello. Ogni ID deve corrispondere esattamente a quello di BroadNet, con il prefisso
broadnet/. GLM 5.3, Qwen3.8 27B e DeepSeek V4.1 Flash richiedono una ricarica. - Risposte vuote. DeepSeek V4.1 Flash, GLM 5.3 e Qwen3.8 27B ragionano prima di rispondere, e il ragionamento conta in
max_tokens. Se nei parametri di LibreChat hai impostato un output massimo basso, alzalo. Perché le risposte arrivano vuote. - 429 con molti utenti. Una chiave a consumo consente 30 richieste al minuto e 4 contemporaneamente, condivise da tutti gli utenti dell’endpoint. Contano anche le richieste dei titoli. Le chiavi
user_provideddistribuiscono il carico. Vedi errori e retry. - Chiavi dei piani. Una sessione di un piano illimitato esegue una richiesta alla volta e non si può condividere, quindi non è adatta a un LibreChat multiutente.
