BroadRouter
Magsimula

Idagdag ang BroadNet Inference sa LibreChat bilang custom endpoint

Na-update

Sa librechat.yaml, magdagdag ng entry sa ilalim ng endpoints.custom na may name na BroadNet, apiKey na environment reference gaya ng BROADNET_API_KEY, baseURL na https://inference.broadnet.ai/v1, at models.default na naglilista ng BroadNet IDs gaya ng broadnet/glm-5.3. Ilagay ang key sa .env, i-mount ang file sa container kung Docker, at i-restart ang LibreChat. Ang LibreChat mismo ang nagdadagdag ng /chat/completions sa base URL.

Open-source na chat app ang LibreChat na sumusuporta sa mga OpenAI-compatible na serbisyo bilang custom endpoints. Dine-define mo ang mga ito sa librechat.yaml, inilalagay ang mga key sa .env, at kung Docker, mina-mount ang YAML file sa container. Sariling site ng BroadNet ang BroadRouter; sinusundan ng mga hakbang ang custom endpoint guide ng LibreChat.

Setup

  1. I-mount ang librechat.yaml (Docker lang). Kopyahin ang docker-compose.override.yml.example bilang docker-compose.override.yml at siguraduhing aktibo ang volume:
services:
  api:
    volumes:
      - type: bind
        source: ./librechat.yaml
        target: /app/librechat.yaml
  1. Idagdag ang endpoint sa librechat.yaml sa project root, sa ilalim ng endpoints.custom:
endpoints:
  custom:
    - name: 'BroadNet'
      apiKey: '${BROADNET_API_KEY}'
      baseURL: 'https://inference.broadnet.ai/v1'
      models:
        default:
          - 'broadnet/glm-5.3'
          - 'broadnet/qwen3.8-27b'
          - 'broadnet/deepseek-v4.1-flash'
          - 'broadnet/gemma-4-26b-a4b'
        fetch: false
      titleConvo: true
      titleModel: 'broadnet/gemma-4-26b-a4b'
      modelDisplayLabel: 'BroadNet'

Panatilihin ang mga top-level key na nasa file mo na, gaya ng version.

  1. I-set ang key sa .env:
BROADNET_API_KEY=your-broadnet-key
  1. I-restart ang LibreChat. Sa Docker: docker compose down && docker compose up -d. Kung lokal na install, i-restart gamit ang npm run backend. Lalabas na ang BroadNet sa endpoint selector.

Mga paalala sa bawat field

  • baseURL. Ang LibreChat mismo ang nagdadagdag ng /chat/completions, kaya gamitin ang /v1 root sa itaas. Huwag i-set ang directEndpoint: true; para iyon sa baseURL na buong completions URL na.
  • fetch: false. Ito ang default ng LibreChat; inilagay namin para malinaw ang pinili. Inilalarawan ng docs ng BroadNet ang GET /v1/models bilang public na catalog metadata para sa mga monitor, kaya mas predictable kung ililista mo ang mga model sa default.
  • titleModel. Gumagawa ang LibreChat ng title para sa bawat chat gamit ang dagdag na request. Mapapaikli ang tawag na iyon ng isang maliit at murang model na walang reasoning. Hindi nakalista ang reasoning para sa Gemma 4 VL 26B sa docs ng BroadNet.
  • user_provided. I-set ang apiKey: 'user_provided' kung dapat ilagay ng bawat user ang sarili niyang BroadNet key sa UI. Naka-encrypt na itinatago ng LibreChat ang key ng bawat user at hinihingi ito sa unang beses na pipiliin nila ang endpoint.
  • Natatanging name. Kapag may pangalawang endpoint na may parehong name, kahit iba ang capitalization, tahimik nitong papalitan ang una. Kung may entry ka nang BroadNet ang pangalan, palitan ang pangalan ng isa.
  • Walang literal na key. Inirerekomenda ng docs ng LibreChat ang ${VAR} reference kaysa sa key na tinipa mismo sa librechat.yaml, na mananatili sa file bilang plain text.

Aling model ang pipiliin

Gamit Model
Default na chat, tools, JSON GLM 5.3
Mga larawan at Arabic Qwen3.8 27B
Mahahabang dokumento, 1M na context DeepSeek V4.1 Flash
Mga title at mabilisang sagot BroadNet Gemma 4 VL 26B

Sa mga model na ito, Gemma 4 VL 26B lang ang tumatakbo sa $5 na panimulang credit, na sumasakop din sa dalawang Transcribe model. Ikumpara ang mga presyo sa pricing page.

Troubleshooting

  • Hindi lumalabas ang endpoint. Tingnan kung tama ang spelling ng name, baseURL, apiKey at models.default at kung naka-indent sa loob ng endpoints.custom. Tinatanggal ng LibreChat ang mga kulang na entry nang walang log line. Kung Docker, siguraduhing hindi naka-comment ang bind mount sa docker-compose.override.yml.
  • “Missing API Key for BroadNet”. Wala ang BROADNET_API_KEY sa .env, o hindi na-restart ang LibreChat. Lumalabas pa rin ang endpoint; lumalabas lang ang error kapag nagpadala ka ng message.
  • 401 mula sa provider. Mali o expired na ang key, o ubos na ang pay-as-you-go allowance.
  • Mga error sa model. Dapat eksaktong tugma ang bawat ID sa ID ng BroadNet, kasama ang broadnet/ prefix. Kailangan ng top-up para sa GLM 5.3, Qwen3.8 27B at DeepSeek V4.1 Flash.
  • Walang lamang sagot. Nagre-reason muna ang DeepSeek V4.1 Flash, GLM 5.3 at Qwen3.8 27B, at kasama ang reasoning sa max_tokens. Kung maliit ang max output na sinet mo sa parameters ng LibreChat, taasan ito. Bakit walang laman ang mga sagot.
  • 429 kapag maraming user. Ang isang pay-as-you-go key ay may 30 request kada minuto at 4 nang sabay-sabay, at hati rito ang lahat ng gumagamit ng endpoint. Kasama rin sa bilang ang mga title request. Naikakalat ng mga user_provided key ang load. Tingnan ang errors and retries.
  • Mga plan key. Isa-isa lang ang request na pinapatakbo ng isang unlimited plan session at hindi ito puwedeng ipamahagi, kaya hindi ito bagay sa LibreChat na maraming user.

Mga tanong

Bakit hindi lumalabas ang BroadNet endpoint ko sa LibreChat?

Tahimik na tinatanggal ng LibreChat ang isang custom endpoint, walang error o log line, kapag kulang o mali ang spelling ng name, baseURL, apiKey o models.default. Kung Docker, tingnan din kung naka-mount ang librechat.yaml sa /app/librechat.yaml at kung nag-restart ka.

Puwede bang may sariling BroadNet key ang bawat user?

Oo. I-set ang apiKey sa user_provided. Hihingan ng LibreChat ng key ang bawat user sa unang beses na pipiliin nila ang endpoint, at naka-encrypt itong itatago.

Bakit lumalabas sa LibreChat ang "Missing API Key for BroadNet"?

Hindi naka-set sa .env ang variable na tinutukoy ng apiKey. Lumalabas pa rin ang endpoint sa selector, at lumalabas lang ang error kapag nagpadala ka ng message. Idagdag ang variable, saka i-restart ang LibreChat.

Dapat bang may /chat/completions ang baseURL sa LibreChat?

Hindi. Bilang default, idinadagdag ng LibreChat ang /chat/completions sa baseURL. Gamitin ang https://inference.broadnet.ai/v1. I-set lang ang directEndpoint sa true kapag ang URL na ilalagay mo ay ang buong completions endpoint na.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity