BroadRouter

SillyTavern sa BroadNet Inference (Custom OpenAI-compatible)

Na-update

Sa API Connections panel ng SillyTavern, piliin ang Chat Completion, saka ang Custom (OpenAI-compatible) bilang Chat Completion Source. I-set ang Custom Endpoint sa https://inference.broadnet.ai/v1, i-paste ang BroadNet key mo, i-type ang model ID gaya ng broadnet/qwen3.8-27b sa Enter a Model ID, i-click ang Connect, saka ang Test Message. I-set ang Max Response Length sa 1,000 token o higit pa.

Ang SillyTavern ay open-source na chat front end na sikat para sa character chat at roleplay. Ikinokonekta ng Custom (OpenAI-compatible) source nito ang Chat Completion API type sa kahit anong server na sumusunod sa generic na OpenAI schema. Karaniwang chat completions ang sine-serve ng BroadNet Inference sa https://inference.broadnet.ai/v1. Ang BroadRouter ay sariling site ng BroadNet; sinusundan ng mga hakbang ang docs ng SillyTavern at ang 1.19.0 release nito.

Setup

  1. Kumuha ng key. Gumawa ng pay-as-you-go key sa BroadNet console, bumili ng hourly key, o bumili ng unlimited na plan.

  2. Buksan ang API Connections panel.

  3. I-set ang API sa Chat Completion.

  4. I-set ang Chat Completion Source sa Custom (OpenAI-compatible).

  5. Punan ang custom form:

    Field Value
    Custom Endpoint (Base URL) https://inference.broadnet.ai/v1
    Custom API Key ang BroadNet key mo
    Enter a Model ID broadnet/qwen3.8-27b
  6. I-click ang Connect.

  7. I-test ito. I-click ang Test Message. Magpapadala ang SillyTavern ng simpleng prompt sa model; kapag may reply, gumagana ang connection.

Huwag idagdag ang /chat/completions sa URL. Sabi ng form ng SillyTavern, kusang idinadagdag ang suffix na iyon.

I-type ang model ID sa halip na pumili mula sa Available Models. Galing ang listahang iyon sa /v1/models, na inilalarawan ng docs ng BroadNet bilang catalogue metadata para sa mga monitor. Nang suriin namin ito noong Nobyembre 15, 2026, dalawang transcription model lang ang nakalista, at hindi puwedeng mag-chat ang mga iyon.

Aling model ang pipiliin

Model ID Context Tala
DeepSeek V4.1 Flash broadnet/deepseek-v4.1-flash 1,048,576 Mahahabang chat; ang model sa mga unlimited na plan
Qwen3.8 27B broadnet/qwen3.8-27b 262,144 Mga larawan; sinubok ng BroadNet sa Arabic
GLM 5.3 broadnet/glm-5.3 1,048,576 Text lang; tools
BroadNet Gemma 4 VL 26B broadnet/gemma-4-26b-a4b 32,768 Tumatakbo sa $5 na libreng credit at sa hourly key

Bagay ang unlimited na plan sa mahahabang session dahil hindi ka nagbabayad kada token: $1 ang isang oras ng Meteor, $15 ang isang linggo ng Orbit at $60 ang isang buwan ng Full Moon. Isang request lang sa isang pagkakataon ang pinapatakbo ng bawat plan session.

Mga setting na dapat baguhin

  • Max Response Length (tokens). Nagre-reason muna bago sumagot ang DeepSeek V4.1 Flash, GLM 5.3 at Qwen3.8 27B, at kasama ang reasoning sa limit na ito. I-set sa 1,000 o higit pa, kung hindi ay baka blangko ang makuha mong mga reply.
  • Context Size (tokens). Itugma ito sa model sa table. Hindi ito mababasa ng SillyTavern mula sa BroadNet.
  • Prompt Post-Processing. Kung tinatanggihan ng model ang isang prompt dahil sa maraming system message o sa pagkakasunod ng mga role, subukan muna ang Merge consecutive roles, saka ang Semi-strict. Sabi ng docs ng SillyTavern, tinatanggal ng mga opsyong ito ang tool calls maliban kung pipiliin mo ang “with tools” na variant.
  • Bypass status check. Kung nagbababala ang SillyTavern na hindi gumagana ang API pero nagtatagumpay ang Test Message, i-tick ito.

Troubleshooting

  • 401. Mali, expired o naubusan ng allowance ang key. I-paste ulit ito at i-click ang Connect.
  • 404 o “model not found”. Kailangang nagtatapos sa /v1 ang URL, at kasama sa ID ang broadnet/ prefix. Kailangan ng top-up ang mga bayad na model; ang broadnet/gemma-4-26b-a4b at ang dalawang Transcribe model lang ang sakop ng $5 na credit.
  • Blangkong mga reply. Taasan ang response length. Bakit walang laman ang mga sagot.
  • 429. Ang isang pay-as-you-go key ay may 30 request kada minuto at 4 na sabay na tumatakbo, at iisang stream lang ang pinapatakbo ng hourly key at ng mga plan session. Tingnan ang errors and retries.

Mga tanong

Bakit mali o walang laman ang listahan ng Available Models para sa BroadNet?

Pinupunan ito ng SillyTavern mula sa /v1/models. Nang suriin namin noong Nobyembre 15, 2026, dalawang transcription model lang ang nakalista sa pampublikong /v1/models ng BroadNet. I-type na lang ang chat model ID sa Enter a Model ID.

Aling BroadNet model ang pinakamainam para sa mahahabang roleplay chat?

May 1,048,576-token na context ang DeepSeek V4.1 Flash at ito ang model sa mga flat-rate na unlimited na plan ng BroadNet. Ang Qwen3.8 27B naman ang sinubok ng BroadNet sa Arabic, kasama ang mga diyalekto ng Gulf at Egyptian.

Bakit blangko ang mga reply sa SillyTavern?

Nagre-reason muna bago sumagot ang mga chat model ng BroadNet maliban sa Gemma 4 VL 26B, at kasama ang reasoning sa max_tokens. Ang Max Response Length ng SillyTavern ang nagse-set ng limit na iyon, kaya taasan ito sa 1,000 token o higit pa.

May mga patakaran ba sa content?

Oo. Saklaw ng Acceptable Use Policy ng BroadNet ang lahat ng ipinapadala sa API, at tahasan nitong isinasama ang fictional at synthetic na content sa pagbabawal nito sa sexual content na may kinalaman sa mga menor de edad.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity