BroadNet Inference sa Dify gamit ang OpenAI-API-compatible plugin
Na-update
Sa Dify, i-install ang OpenAI-API-compatible plugin mula sa Integrations, Model Provider, saka i-click ang Add Model. Piliin ang type na LLM, ilagay ang BroadNet model ID gaya ng broadnet/glm-5.3, ang BroadNet key mo at ang API Base URL na https://inference.broadnet.ai/v1. I-set ang Completion mode sa Chat, ang totoong laki ng context, output limit na may espasyo para sa reasoning, at Tool Call para lang sa GLM 5.3 o Qwen3.8 27B.
Ang Dify ay open-source na platform para sa paggawa ng mga LLM app at workflow. Ang mga provider na hindi nakalista sa Dify ayon sa pangalan ay idinadagdag sa pamamagitan ng OpenAI-API-compatible model provider plugin, na inilathala ng team ng Dify (langgenius). Karaniwang chat completions ang sine-serve ng BroadNet Inference sa https://inference.broadnet.ai/v1, kaya swak ito. Sariling site ng BroadNet ang BroadRouter; galing sa bersyon 0.0.83 ng plugin ang mga pangalan ng field sa ibaba.
Setup
Kumuha ng key. Gumawa ng pay-as-you-go key sa BroadNet console.
I-install ang plugin. Sa Dify, pumunta sa Integrations > Model Provider, hanapin ang OpenAI-API-compatible sa mga provider na puwedeng i-install (o buksan ito sa Marketplace), at i-install ito. Kailangang owner o admin ka ng workspace.
Magdagdag ng model. I-click ang Add Model sa provider card at punan ang:
Field
Value
Model Type
LLM
Model Name
broadnet/glm-5.3
Model display name
GLM 5.3 (BroadNet)
API Key
ang BroadNet key mo
API Base URL
https://inference.broadnet.ai/v1
Completion mode
Chat
Model context size
1048576
Upper bound for max tokens
16000
Function Call Type
Tool Call
Vision Support
Not Support
Structured Output
Support
API Type
Chat Completions API (/chat/completions)
Token parameter name
Use max_tokens
I-save. Sinusuri ng Dify ang credentials bago nito idagdag ang model.
I-test ito. Gumawa ng Chatbot app, piliin ang GLM 5.3 (BroadNet) sa model picker at magpadala ng mensahe sa preview pane.
Ulitin ang Add Model para sa bawat BroadNet model na gusto mo. Kailangang eksaktong tugma ang model name sa ID ng BroadNet, kasama ang broadnet/ prefix.
Mga value kada model
Model Name
Laki ng context
Function Call Type
Vision Support
broadnet/glm-5.3
1048576
Tool Call
Not Support
broadnet/qwen3.8-27b
262144
Tool Call
Support
broadnet/deepseek-v4.1-flash
1048576
Not Support (hindi pa nasusubok)
Support
broadnet/gemma-4-26b-a4b
32768
Not Support
Support
Bakit ganito ang mga pinili:
Context size: 4,096 ang default nito sa plugin. Kung iiwan doon, puputulin ng Dify ang memory at ang nakuhang context sa sukat na malayong mas maliit sa kayang tanggapin ng model.
Upper bound for max tokens: 4,096 din ang default. Nagre-reason muna ang tatlo sa mga model bago sumagot, at kasama ang reasoning sa limit na ito, kaya bigyan sila ng espasyo. Mungkahi namin ang 16,000, hindi limit ng BroadNet.
Token parameter name: kapag naka-set sa max_tokens, tugma ito sa field sa API reference ng BroadNet. Ang default ng plugin ay manghula batay sa pangalan ng model.
API Type: manatili sa Chat Completions. Hindi nakalista sa BroadNet ang Responses API.
Transcription
Puwede ring magdagdag ang plugin ng mga speech-to-text model. Sine-serve ng BroadNet ang /v1/audio/transcriptions gamit ang broadnet/cohere-transcribe-arabic para sa Arabic at broadnet/cohere-transcribe para sa 14 na wika. Ayon sa README ng plugin, para sa speech-to-text, ito na mismo ang nagdadagdag ng version path, kaya host na walang /v1 ang gamit sa halimbawa nito (dito, https://inference.broadnet.ai). Hindi pa namin nasusubok ang path na ito sa Dify; subukan muna ito gamit ang maikling WAV file. Tingnan ang gabay sa Arabic speech-to-text.
Troubleshooting
Pumapalya ang credential check. Suriin ang key, ang API Base URL (nagtatapos ito sa /v1 para sa mga LLM) at ang model name. Kailangan ng top-up para sa mga bayad na model; ang broadnet/gemma-4-26b-a4b at ang dalawang Transcribe model lang ang sakop ng $5 na credit.
Walang lamang sagot sa isang workflow. Masyadong mababa ang max tokens ng LLM node para sa isang reasoning model. Taasan ito. Bakit walang laman ang mga sagot.
Hindi kailanman tumatawag ng tools ang Agent node. Gamitin ang GLM 5.3 o Qwen3.8 27B na naka-set ang Function Call Type sa Tool Call.
429 kapag mabigat ang load. Ang isang pay-as-you-go key ay may 30 request kada minuto at 4 na sabay na tumatakbo. Puwedeng lumampas doon ang mga parallel na branch at iteration node; babaan ang parallelism nila. Tingnan ang errors and retries.
Mga tanong
Gumagana ba ang BroadNet sa Dify Cloud at sa self-hosted na Dify?
Oo. Pampublikong HTTPS endpoint ang BroadNet Inference, kaya naaabot ito ng Dify Cloud. Ayon sa docs ng Dify, mga owner at admin lang ng workspace ang puwedeng mamahala ng model providers, at gumagana sa buong workspace ang key na idinagdag mo.
Dapat bang may /v1 ang API Base URL?
Oo, para sa mga LLM model. Base URL na nagtatapos sa /v1 ang gamit ng sariling mga halimbawa ng plugin para sa mga chat model, at nagbababala ang README nito na para sa ilang ibang uri ng model, ito na mismo ang nagdadagdag ng version path.
Aling Function Call Type ang dapat kong piliin?
Tool Call para sa GLM 5.3 at Qwen3.8 27B, na nakalista sa BroadNet na may tools. Piliin ang Not Support para sa DeepSeek V4.1 Flash maliban kung ikaw mismo ang nakasubok ng tool calls dito.
Nalalapat ba ang Dify AI credits sa mga model ng BroadNet?
Hindi. Ayon sa docs ng Dify, hindi nalalapat ang AI credits sa mga provider na pinapatakbo mo sa sarili mong account. Sinisingil ng BroadNet ang key na inilagay mo.