BroadRouter
Magsimula

Paano ikonekta ang Open WebUI sa BroadNet Inference

Na-update

Sa Open WebUI, pumunta sa Settings > Connections sa admin section, i-click ang Add Connection sa ilalim ng Manage OpenAI API Connections, i-set ang URL sa https://inference.broadnet.ai/v1 at ang API Key sa BroadNet key mo, saka idagdag ang mga model ID gaya ng broadnet/glm-5.3 sa Model IDs allowlist at i-save.

Ang Open WebUI ay isang self-hosted na chat interface. Kumokonekta ito sa kahit anong provider na sumusunod sa OpenAI chat-completions protocol, at kasama rito ang BroadNet Inference. Sinusundan ng mga hakbang ang gabay ng Open WebUI para sa mga OpenAI-compatible na provider.

Setup

  1. Kumuha ng BroadNet key. Para sa chat UI na ginagamit ng ilang tao, pay-as-you-go key ang angkop. Tingnan ang API keys at IP allow-lists.

  2. Buksan ang connections page. Pumunta sa Settings > Connections sa admin section at hanapin ang Manage OpenAI API Connections.

  3. I-click ang Add Connection at punan ang:

    Field Value
    URL https://inference.broadnet.ai/v1 (walang slash sa dulo)
    API Key ang BroadNet key mo
    Model IDs idagdag ang bawat ID sa ibaba, isa-isa, gamit ang + icon
  4. Manwal na idagdag ang mga model ID. I-type ang broadnet/glm-5.3, i-click ang +, saka ulitin para sa iba pang gusto mo. Inilalarawan ng docs ng BroadNet ang GET /v1/models bilang pampublikong catalog metadata para sa mga monitor, kaya huwag umasa rito para punuin ang model picker.

  5. I-click ang Save. Ayon sa docs ng Open WebUI, hindi tine-test ng pag-save ang connection.

  6. Magsimula ng chat at piliin ang model sa model selector.

Gamit ang environment variables

Kung sa Docker mo pinapatakbo ang Open WebUI, puwede mong i-set ang connection sa startup:

OPENAI_API_BASE_URL=https://inference.broadnet.ai/v1
OPENAI_API_KEY=your-broadnet-key

Para idagdag ang BroadNet katabi ng kasalukuyang OpenAI connection, gamitin ang plural na anyo, na pinaghihiwalay ng semicolon: OPENAI_API_BASE_URLS at OPENAI_API_KEYS. Itinatakda naman ng OPENAI_API_CONFIGS ang mga option kada connection gaya ng model_ids, ayon sa index ng connection sa listahang iyon:

OPENAI_API_CONFIGS='{"0": {"enable": true, "model_ids": ["broadnet/glm-5.3", "broadnet/qwen3.8-27b"]}}'

Minamarkahan ng environment variable reference ng Open WebUI ang mga ito bilang ConfigVar settings. Binabasa ang mga ito sa unang launch at sine-save sa database. Pagkatapos noon, ang admin panel na ang masusunod. I-edit ang connection sa Settings > Connections sa admin section, o i-set ang ENABLE_PERSISTENT_CONFIG=False kung gusto mong umiral ang environment sa bawat start.

Aling model ang pipiliin

Gamit Model Context
Pangkalahatang chat, tools, JSON broadnet/glm-5.3 1,048,576
Mga tanong tungkol sa larawan, Arabic broadnet/qwen3.8-27b 262,144
Mahahabang dokumento, mga larawan broadnet/deepseek-v4.1-flash 1,048,576
Mababang gastos, libreng credit broadnet/gemma-4-26b-a4b 32,768

Sinubok ng BroadNet ang Qwen3.8 27B sa Arabic, kasama ang Gulf at Egyptian na dialect; tingnan ang pagpili ng LLM para sa Arabic. Ang Gemma 4 VL 26B lang ang chat model na gumagana sa $5 na panimulang credit; sakop din ng credit ang dalawang Transcribe model. Nasa pricing page ang presyo ng bawat isa.

Ipinapasa ng Open WebUI ang mga karaniwang parameter gaya ng temperature at max_tokens, at sinusuportahan nito ang tool use kapag sinusuportahan ng model at server ang tools. Nakalista sa BroadNet ang tools para sa GLM 5.3 at Qwen3.8 27B.

Troubleshooting

  • Pumapalya ang Verify Connection na may 400, 401 o 403. Tinatawag ng verify button ng Open WebUI ang /models. Ayon sa docs nito, puwede pa ring gumana ang chat completions. Idagdag ang mga ID sa allowlist at subukan ang isang chat. Kung 401 din ang ibinabalik ng chat, mali o expired ang key, o ubos na ang pay-as-you-go allowance.
  • Nakalista ang model pero pumapalya ang unang mensahe. Tiyaking eksaktong tugma ang ID sa BroadNet, kasama ang broadnet/ prefix. Kailangan ng top-up para sa GLM 5.3, Qwen3.8 27B at DeepSeek V4.1 Flash.
  • Walang lamang sagot. Gumagastos muna ng output token sa reasoning ang mga reasoning model (DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B). Kung nag-set ka ng max_tokens sa Advanced Params ng model, taasan ito o burahin. Bakit walang laman ang mga sagot.
  • 429 kapag maraming nagcha-chat. Ang isang pay-as-you-go key ay may 30 request kada minuto at 4 nang sabay-sabay. Gumagawa rin ang Open WebUI ng mga background na call, gaya ng mga chat title, gamit ang parehong key. Tingnan ang errors and retries.
  • Walang epekto ang binagong env vars. Na-save na ng unang launch ang mga lumang value. I-edit ang connection sa admin panel, o tingnan ang seksyon tungkol sa environment variables sa itaas.
  • Paggamit ng plan key. Isang request lang sa isang pagkakataon ang pinapatakbo ng isang session ng unlimited na plan, at hindi puwedeng i-share ang mga key. Bagay ito sa sariling instance ng isang tao; pipila ang mga request ng iba pang user.

Mga tanong

Bakit pumapalya ang Verify Connection pero gumagana ang chat?

Tinatawag ng verify button ng Open WebUI ang /models endpoint ng provider. Ayon sa docs nito, hindi ibig sabihin ng pumalyang check na sira ang chat. Manwal na idagdag ang mga model ID ng BroadNet sa Model IDs allowlist.

Puwede ko bang i-set ang connection gamit ang environment variables?

Oo. I-set ang OPENAI_API_BASE_URL sa https://inference.broadnet.ai/v1 at ang OPENAI_API_KEY sa BroadNet key mo. Ise-save ito ng Open WebUI sa unang launch, kaya hindi na papansinin ang mga susunod na pagbabago sa variables maliban kung False ang ENABLE_PERSISTENT_CONFIG.

Bakit hindi gumana ang bago kong value ng OPENAI_API_BASE_URL?

Itinuturing ito ng Open WebUI bilang ConfigVar. Pagkatapos ng unang launch, ang value na naka-save sa database nito ang ginagamit. Palitan ang URL sa Settings > Connections sa admin section, o i-set ang ENABLE_PERSISTENT_CONFIG=False para basahin ang environment sa bawat start.

Puwede bang iisang unlimited plan key ang gamitin ng buong team sa Open WebUI?

Hindi. Hindi pinapayagan ng mga plan ng BroadNet ang pag-share ng key, at isang request lang sa isang pagkakataon ang pinapatakbo ng isang plan session. Gumamit ng pay-as-you-go key para sa shared na Open WebUI.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity