BroadRouter
Начать

BroadNet Inference в Dify через плагин OpenAI-API-compatible

Обновлено

В Dify установите плагин OpenAI-API-compatible в Integrations > Model Provider и нажмите Add Model. Выберите тип LLM, укажите ID модели BroadNet, например broadnet/glm-5.3, свой ключ BroadNet и API Base URL https://inference.broadnet.ai/v1. Задайте Completion mode = Chat, реальный размер контекста, лимит на выход с запасом на рассуждения и Tool Call только для GLM 5.3 или Qwen3.8 27B.

Dify — платформа с открытым исходным кодом для создания LLM-приложений и рабочих процессов. Провайдеров, которых Dify не перечисляет по имени, добавляют через плагин провайдера моделей OpenAI-API-compatible от команды Dify (langgenius). BroadNet Inference отдаёт стандартные chat completions по адресу https://inference.broadnet.ai/v1, поэтому подходит. BroadRouter — собственный сайт BroadNet; названия полей ниже взяты из версии плагина 0.0.83.

Настройка

  1. Получите ключ. Создайте ключ с оплатой по факту в консоли BroadNet.

  2. Установите плагин. В Dify откройте Integrations > Model Provider, найдите OpenAI-API-compatible среди доступных для установки провайдеров (или откройте его в Marketplace) и установите. Для этого нужны права владельца или администратора рабочего пространства.

  3. Добавьте модель. Нажмите Add Model на карточке провайдера и заполните поля:

    Поле Значение
    Model Type LLM
    Model Name broadnet/glm-5.3
    Model display name GLM 5.3 (BroadNet)
    API Key ваш ключ BroadNet
    API Base URL https://inference.broadnet.ai/v1
    Completion mode Chat
    Model context size 1048576
    Upper bound for max tokens 16000
    Function Call Type Tool Call
    Vision Support Not Support
    Structured Output Support
    API Type Chat Completions API (/chat/completions)
    Token parameter name Use max_tokens
  4. Сохраните. Dify проверяет учётные данные, прежде чем добавить модель.

  5. Проверьте. Создайте приложение Chatbot, выберите GLM 5.3 (BroadNet) в списке моделей и отправьте сообщение в панели предпросмотра.

Повторите Add Model для каждой нужной модели BroadNet. Имя модели должно точно совпадать с ID BroadNet, включая префикс broadnet/.

Значения для каждой модели

Model Name Размер контекста Function Call Type Vision Support
broadnet/glm-5.3 1048576 Tool Call Not Support
broadnet/qwen3.8-27b 262144 Tool Call Support
broadnet/deepseek-v4.1-flash 1048576 Not Support (не проверено) Support
broadnet/gemma-4-26b-a4b 32768 Not Support Support

Почему именно так:

  • Размер контекста в плагине по умолчанию 4096. Если его не менять, Dify обрезает память и найденный контекст гораздо сильнее, чем позволяет модель.
  • Upper bound for max tokens по умолчанию тоже 4096. Три модели рассуждают перед ответом, и рассуждения учитываются в этом лимите, так что дайте им запас. 16 000 — наша рекомендация, а не лимит BroadNet.
  • Token parameter name со значением max_tokens совпадает с полем из справочника API BroadNet. По умолчанию плагин угадывает параметр по имени модели.
  • API Type оставьте Chat Completions. Responses API у BroadNet не указан.

Транскрибация

Плагин умеет добавлять и модели распознавания речи. BroadNet обслуживает /v1/audio/transcriptions с broadnet/cohere-transcribe-arabic для арабского и broadnet/cohere-transcribe для 14 языков. В README плагина сказано, что для speech-to-text он добавляет путь с версией сам, поэтому в его примере указан хост без /v1 (здесь — https://inference.broadnet.ai). Мы не проверяли этот путь через Dify; сначала проверьте его на коротком WAV-файле. См. руководство по распознаванию арабской речи.

Решение проблем

  • Проверка учётных данных не проходит. Проверьте ключ, API Base URL (для LLM он заканчивается на /v1) и имя модели. Для платных моделей нужно пополнить баланс; грант $5 покрывает только broadnet/gemma-4-26b-a4b.
  • Пустые ответы в рабочем процессе. Max tokens в узле LLM слишком мал для рассуждающей модели. Увеличьте его. Почему ответы приходят пустыми.
  • Узел Agent не вызывает инструменты. Используйте GLM 5.3 или Qwen3.8 27B с Function Call Type = Tool Call.
  • 429 под нагрузкой. Ключ с оплатой по факту допускает 30 запросов в минуту и 4 одновременно. Параллельные ветки и узлы итерации могут превысить этот лимит; уменьшите их параллелизм. См. ошибки и повторные запросы.

Вопросы и ответы

Работает ли BroadNet в Dify Cloud, а не только в self-hosted Dify?

Да. BroadNet Inference — публичный HTTPS-эндпоинт, поэтому Dify Cloud до него достучится. В документации Dify сказано, что управлять провайдерами моделей могут только владельцы и администраторы рабочего пространства, а добавленный ключ действует во всём пространстве.

Нужно ли добавлять /v1 в API Base URL?

Да, для моделей LLM. В собственных примерах плагина базовый URL для чат-моделей заканчивается на /v1, а README предупреждает, что для некоторых других типов моделей плагин добавляет путь с версией сам.

Какой Function Call Type выбрать?

Tool Call для GLM 5.3 и Qwen3.8 27B: для них BroadNet указывает инструменты. Для DeepSeek V4.1 Flash выберите Not Support, если вы сами не проверили на ней вызовы инструментов.

Тратятся ли AI-кредиты Dify на модели BroadNet?

Нет. Документация Dify говорит, что AI-кредиты не действуют для провайдеров, которыми вы пользуетесь на своём аккаунте. Оплату списывает BroadNet по указанному ключу.

Открыть в MarkdownСпросить ChatGPTСпросить ClaudeСпросить Perplexity