BroadRouter
Começar

BroadNet Inference no Dify com o plugin OpenAI-API-compatible

Atualizado em

No Dify, instale o plugin OpenAI-API-compatible em Integrations, Model Provider e clique em Add Model. Escolha o tipo LLM e informe um ID da BroadNet como broadnet/glm-5.3, a sua chave da BroadNet e o API Base URL https://inference.broadnet.ai/v1. Defina Completion mode como Chat, o tamanho real do contexto, um limite de saída com espaço para o raciocínio e Tool Call só para GLM 5.3 ou Qwen3.8 27B.

O Dify é uma plataforma open source para criar apps e workflows com LLMs. Provedores que o Dify não lista pelo nome são adicionados pelo plugin de provedor de modelo OpenAI-API-compatible, publicado pela equipe do Dify (langgenius). A BroadNet Inference serve chat completions padrão em https://inference.broadnet.ai/v1, então se encaixa. O BroadRouter é o site da própria BroadNet; os nomes de campo abaixo vêm da versão 0.0.83 do plugin.

Configuração

  1. Pegue uma chave. Crie uma chave de pagamento por uso no console da BroadNet.

  2. Instale o plugin. No Dify, vá em Integrations > Model Provider, encontre OpenAI-API-compatible entre os provedores disponíveis para instalar (ou abra no Marketplace) e instale. Você precisa ser owner ou admin do workspace.

  3. Adicione um modelo. Clique em Add Model no card do provedor e preencha:

    Campo Valor
    Model Type LLM
    Model Name broadnet/glm-5.3
    Model display name GLM 5.3 (BroadNet)
    API Key a sua chave da BroadNet
    API Base URL https://inference.broadnet.ai/v1
    Completion mode Chat
    Model context size 1048576
    Upper bound for max tokens 16000
    Function Call Type Tool Call
    Vision Support Not Support
    Structured Output Support
    API Type Chat Completions API (/chat/completions)
    Token parameter name Use max_tokens
  4. Salve. O Dify valida as credenciais antes de adicionar o modelo.

  5. Teste. Crie um app Chatbot, selecione GLM 5.3 (BroadNet) no seletor de modelos e envie uma mensagem no painel de pré-visualização.

Repita Add Model para cada modelo da BroadNet que quiser. O nome do modelo precisa bater exatamente com o ID da BroadNet, incluindo o prefixo broadnet/.

Valores por modelo

Model Name Tamanho do contexto Function Call Type Vision Support
broadnet/glm-5.3 1048576 Tool Call Not Support
broadnet/qwen3.8-27b 262144 Tool Call Support
broadnet/deepseek-v4.1-flash 1048576 Not Support (não testado) Support
broadnet/gemma-4-26b-a4b 32768 Not Support Support

Por que essas escolhas:

  • Context size tem padrão 4.096 no plugin. Se ficar assim, o Dify corta a memória e o contexto recuperado muito abaixo do que o modelo aceita.
  • Upper bound for max tokens também tem padrão 4.096. Três dos modelos raciocinam antes de responder, e o raciocínio conta para esse limite, então dê espaço a eles. 16.000 é uma sugestão nossa, não um limite da BroadNet.
  • Token parameter name definido como max_tokens corresponde ao campo da referência da API da BroadNet. O padrão do plugin é adivinhar pelo nome do modelo.
  • API Type fica em Chat Completions. A BroadNet não lista a Responses API.

Transcrição

O plugin também pode adicionar modelos de fala para texto (speech-to-text). A BroadNet serve /v1/audio/transcriptions com broadnet/cohere-transcribe-arabic para árabe e broadnet/cohere-transcribe para 14 idiomas. O README do plugin diz que, para speech-to-text, ele mesmo adiciona o caminho da versão, então o exemplo dele usa o host sem /v1 (aqui, https://inference.broadnet.ai). Não testamos esse caminho pelo Dify; confira primeiro com um arquivo WAV curto. Veja o guia de fala para texto em árabe.

Solução de problemas

  • A validação das credenciais falha. Confira a chave, o API Base URL (termina em /v1 para LLMs) e o nome do modelo. Modelos pagos exigem uma recarga; o crédito de $5 cobre só broadnet/gemma-4-26b-a4b e os dois modelos Transcribe.
  • Respostas vazias em um workflow. O max tokens do nó LLM está baixo demais para um modelo de raciocínio. Aumente-o. Por que as respostas vêm vazias.
  • O nó Agent nunca chama ferramentas. Use GLM 5.3 ou Qwen3.8 27B com Function Call Type em Tool Call.
  • 429 sob carga. Uma chave de pagamento por uso permite 30 requisições por minuto e 4 em andamento. Ramos paralelos e nós de iteração podem passar disso; reduza o paralelismo deles. Veja erros e novas tentativas.

Perguntas frequentes

A BroadNet funciona no Dify Cloud e também no Dify self-hosted?

Sim. A BroadNet Inference é um endpoint HTTPS público, então o Dify Cloud consegue acessá-la. A documentação do Dify diz que só owners e admins do workspace podem gerenciar provedores de modelo, e uma chave adicionada vale para o workspace inteiro.

O API Base URL deve incluir /v1?

Sim, para modelos LLM. Os exemplos do próprio plugin usam um base URL terminado em /v1 para modelos de chat, e o README avisa que, para alguns outros tipos de modelo, ele mesmo adiciona o caminho da versão.

Qual Function Call Type devo escolher?

Tool Call para GLM 5.3 e Qwen3.8 27B, que a BroadNet lista com ferramentas. Escolha Not Support para o DeepSeek V4.1 Flash, a menos que você mesmo tenha testado chamadas de ferramenta nele.

Os créditos de IA do Dify valem para os modelos da BroadNet?

Não. A documentação do Dify diz que os créditos de IA não valem para provedores que você usa com a sua própria conta. A BroadNet cobra a chave que você informar.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity