BroadRouter
Inizia

Aggiungere BroadNet Inference a LibreChat come custom endpoint

Aggiornato

In librechat.yaml aggiungi sotto endpoints.custom una voce con name BroadNet, apiKey che rimanda a una variabile d’ambiente come BROADNET_API_KEY, baseURL https://inference.broadnet.ai/v1 e models.default con ID BroadNet come broadnet/glm-5.3. Metti la chiave nel .env, su Docker monta il file nel container e riavvia LibreChat. LibreChat aggiunge da solo /chat/completions al base URL.

LibreChat è un’app di chat open source che supporta i servizi compatibili con OpenAI come custom endpoint. Li definisci in librechat.yaml, tieni le chiavi nel .env e, su Docker, monti il file YAML nel container. BroadRouter è il sito di BroadNet; i passaggi seguono la guida ai custom endpoint di LibreChat.

Configurazione

  1. Monta librechat.yaml (solo Docker). Copia docker-compose.override.yml.example in docker-compose.override.yml e verifica che il volume sia attivo:
services:
  api:
    volumes:
      - type: bind
        source: ./librechat.yaml
        target: /app/librechat.yaml
  1. Aggiungi l’endpoint a librechat.yaml nella root del progetto, sotto endpoints.custom:
endpoints:
  custom:
    - name: 'BroadNet'
      apiKey: '${BROADNET_API_KEY}'
      baseURL: 'https://inference.broadnet.ai/v1'
      models:
        default:
          - 'broadnet/glm-5.3'
          - 'broadnet/qwen3.8-27b'
          - 'broadnet/deepseek-v4.1-flash'
          - 'broadnet/gemma-4-26b-a4b'
        fetch: false
      titleConvo: true
      titleModel: 'broadnet/gemma-4-26b-a4b'
      modelDisplayLabel: 'BroadNet'

Mantieni le chiavi di primo livello che il tuo file ha già, come version.

  1. Imposta la chiave nel .env:
BROADNET_API_KEY=your-broadnet-key
  1. Riavvia LibreChat. Con Docker: docker compose down && docker compose up -d. Per un’installazione locale, riavvia con npm run backend. A quel punto BroadNet compare nel selettore degli endpoint.

Note sui campi

  • baseURL. LibreChat aggiunge da solo /chat/completions, quindi usa la root /v1 indicata sopra. Non impostare directEndpoint: true; quell’opzione serve per un baseURL che è già l’URL completo delle completions.
  • fetch: false. È il default di LibreChat; lo impostiamo per rendere esplicita la scelta. La documentazione di BroadNet descrive GET /v1/models come metadati pubblici del catalogo per i sistemi di monitoraggio, quindi elencare i modelli in default è più prevedibile.
  • titleModel. LibreChat scrive un titolo per ogni chat con una richiesta in più. Un modello piccolo, economico e senza ragionamento mantiene breve quella chiamata. La documentazione di BroadNet non indica il ragionamento per Gemma 4 VL 26B.
  • user_provided. Imposta apiKey: 'user_provided' se ogni utente deve inserire la propria chiave BroadNet nell’interfaccia. LibreChat conserva cifrata la chiave di ogni utente e la chiede la prima volta che l’utente sceglie l’endpoint.
  • Nome univoco. Un secondo endpoint con lo stesso nome, senza distinzione tra maiuscole e minuscole, sostituisce il primo senza avvisare. Se hai già una voce chiamata BroadNet, rinominane una.
  • Niente chiavi in chiaro. La documentazione di LibreChat consiglia il riferimento ${VAR} invece di una chiave scritta in librechat.yaml, dove resterebbe nel file in chiaro.

Quale modello scegliere

Uso Modello
Chat predefinita, strumenti, JSON GLM 5.3
Immagini e arabo Qwen3.8 27B
Documenti lunghi, contesto da 1M DeepSeek V4.1 Flash
Titoli e risposte rapide BroadNet Gemma 4 VL 26B

Tra questi modelli, solo Gemma 4 VL 26B funziona con il credito iniziale di $5, che copre anche i due modelli Transcribe. Confronta i prezzi nella pagina dei prezzi.

Risoluzione dei problemi

  • L’endpoint non compare. Controlla che name, baseURL, apiKey e models.default siano scritti correttamente e indentati dentro endpoints.custom. LibreChat scarta le voci incomplete senza righe di log. Su Docker verifica che il bind mount non sia commentato in docker-compose.override.yml.
  • “Missing API Key for BroadNet” (traduzione: chiave API mancante per BroadNet). BROADNET_API_KEY non è nel .env, oppure LibreChat non è stato riavviato. L’endpoint compare comunque; l’errore appare solo quando invii un messaggio.
  • 401 dal provider. La chiave è sbagliata, scaduta, oppure la quota a consumo è esaurita.
  • Errori sul modello. Ogni ID deve corrispondere esattamente a quello di BroadNet, con il prefisso broadnet/. GLM 5.3, Qwen3.8 27B e DeepSeek V4.1 Flash richiedono una ricarica.
  • Risposte vuote. DeepSeek V4.1 Flash, GLM 5.3 e Qwen3.8 27B ragionano prima di rispondere, e il ragionamento conta in max_tokens. Se nei parametri di LibreChat hai impostato un output massimo basso, alzalo. Perché le risposte arrivano vuote.
  • 429 con molti utenti. Una chiave a consumo consente 30 richieste al minuto e 4 contemporaneamente, condivise da tutti gli utenti dell’endpoint. Contano anche le richieste dei titoli. Le chiavi user_provided distribuiscono il carico. Vedi errori e retry.
  • Chiavi dei piani. Una sessione di un piano illimitato esegue una richiesta alla volta e non si può condividere, quindi non è adatta a un LibreChat multiutente.

Domande frequenti

Perché il mio endpoint BroadNet non compare in LibreChat?

LibreChat scarta un custom endpoint senza errori né righe di log se name, baseURL, apiKey o models.default mancano o sono scritti male. Su Docker controlla anche che librechat.yaml sia montato in /app/librechat.yaml e di aver riavviato.

Ogni utente può usare la propria chiave BroadNet?

Sì. Imposta apiKey su user_provided. LibreChat chiede la chiave a ogni utente la prima volta che sceglie l’endpoint e la conserva cifrata.

Perché LibreChat mostra "Missing API Key for BroadNet"?

La variabile a cui rimanda apiKey non è impostata nel .env. L’endpoint compare comunque nel selettore, e l’errore appare solo quando invii un messaggio. Aggiungi la variabile e riavvia LibreChat.

Il baseURL di LibreChat deve includere /chat/completions?

No. Per impostazione predefinita LibreChat aggiunge /chat/completions al baseURL. Usa https://inference.broadnet.ai/v1. Imposta directEndpoint su true solo se l’URL che inserisci è già l’endpoint completo delle completions.

Leggi in MarkdownChiedi a ChatGPTChiedi a ClaudeChiedi a Perplexity