BroadNet Inference в Dify через плагин OpenAI-API-compatible
Обновлено
В Dify установите плагин OpenAI-API-compatible в Integrations > Model Provider и нажмите Add Model. Выберите тип LLM, укажите ID модели BroadNet, например broadnet/glm-5.3, свой ключ BroadNet и API Base URL https://inference.broadnet.ai/v1. Задайте Completion mode = Chat, реальный размер контекста, лимит на выход с запасом на рассуждения и Tool Call только для GLM 5.3 или Qwen3.8 27B.
Dify — платформа с открытым исходным кодом для создания LLM-приложений и рабочих процессов. Провайдеров, которых Dify не перечисляет по имени, добавляют через плагин провайдера моделей OpenAI-API-compatible от команды Dify (langgenius). BroadNet Inference отдаёт стандартные chat completions по адресу https://inference.broadnet.ai/v1, поэтому подходит. BroadRouter — собственный сайт BroadNet; названия полей ниже взяты из версии плагина 0.0.83.
Настройка
Получите ключ. Создайте ключ с оплатой по факту в консоли BroadNet.
Установите плагин. В Dify откройте Integrations > Model Provider, найдите OpenAI-API-compatible среди доступных для установки провайдеров (или откройте его в Marketplace) и установите. Для этого нужны права владельца или администратора рабочего пространства.
Добавьте модель. Нажмите Add Model на карточке провайдера и заполните поля:
Поле
Значение
Model Type
LLM
Model Name
broadnet/glm-5.3
Model display name
GLM 5.3 (BroadNet)
API Key
ваш ключ BroadNet
API Base URL
https://inference.broadnet.ai/v1
Completion mode
Chat
Model context size
1048576
Upper bound for max tokens
16000
Function Call Type
Tool Call
Vision Support
Not Support
Structured Output
Support
API Type
Chat Completions API (/chat/completions)
Token parameter name
Use max_tokens
Сохраните. Dify проверяет учётные данные, прежде чем добавить модель.
Проверьте. Создайте приложение Chatbot, выберите GLM 5.3 (BroadNet) в списке моделей и отправьте сообщение в панели предпросмотра.
Повторите Add Model для каждой нужной модели BroadNet. Имя модели должно точно совпадать с ID BroadNet, включая префикс broadnet/.
Значения для каждой модели
Model Name
Размер контекста
Function Call Type
Vision Support
broadnet/glm-5.3
1048576
Tool Call
Not Support
broadnet/qwen3.8-27b
262144
Tool Call
Support
broadnet/deepseek-v4.1-flash
1048576
Not Support (не проверено)
Support
broadnet/gemma-4-26b-a4b
32768
Not Support
Support
Почему именно так:
Размер контекста в плагине по умолчанию 4096. Если его не менять, Dify обрезает память и найденный контекст гораздо сильнее, чем позволяет модель.
Upper bound for max tokens по умолчанию тоже 4096. Три модели рассуждают перед ответом, и рассуждения учитываются в этом лимите, так что дайте им запас. 16 000 — наша рекомендация, а не лимит BroadNet.
Token parameter name со значением max_tokens совпадает с полем из справочника API BroadNet. По умолчанию плагин угадывает параметр по имени модели.
API Type оставьте Chat Completions. Responses API у BroadNet не указан.
Транскрибация
Плагин умеет добавлять и модели распознавания речи. BroadNet обслуживает /v1/audio/transcriptions с broadnet/cohere-transcribe-arabic для арабского и broadnet/cohere-transcribe для 14 языков. В README плагина сказано, что для speech-to-text он добавляет путь с версией сам, поэтому в его примере указан хост без /v1 (здесь — https://inference.broadnet.ai). Мы не проверяли этот путь через Dify; сначала проверьте его на коротком WAV-файле. См. руководство по распознаванию арабской речи.
Решение проблем
Проверка учётных данных не проходит. Проверьте ключ, API Base URL (для LLM он заканчивается на /v1) и имя модели. Для платных моделей нужно пополнить баланс; грант $5 покрывает только broadnet/gemma-4-26b-a4b.
Пустые ответы в рабочем процессе. Max tokens в узле LLM слишком мал для рассуждающей модели. Увеличьте его. Почему ответы приходят пустыми.
Узел Agent не вызывает инструменты. Используйте GLM 5.3 или Qwen3.8 27B с Function Call Type = Tool Call.
429 под нагрузкой. Ключ с оплатой по факту допускает 30 запросов в минуту и 4 одновременно. Параллельные ветки и узлы итерации могут превысить этот лимит; уменьшите их параллелизм. См. ошибки и повторные запросы.
Вопросы и ответы
Работает ли BroadNet в Dify Cloud, а не только в self-hosted Dify?
Да. BroadNet Inference — публичный HTTPS-эндпоинт, поэтому Dify Cloud до него достучится. В документации Dify сказано, что управлять провайдерами моделей могут только владельцы и администраторы рабочего пространства, а добавленный ключ действует во всём пространстве.
Нужно ли добавлять /v1 в API Base URL?
Да, для моделей LLM. В собственных примерах плагина базовый URL для чат-моделей заканчивается на /v1, а README предупреждает, что для некоторых других типов моделей плагин добавляет путь с версией сам.
Какой Function Call Type выбрать?
Tool Call для GLM 5.3 и Qwen3.8 27B: для них BroadNet указывает инструменты. Для DeepSeek V4.1 Flash выберите Not Support, если вы сами не проверили на ней вызовы инструментов.
Тратятся ли AI-кредиты Dify на модели BroadNet?
Нет. Документация Dify говорит, что AI-кредиты не действуют для провайдеров, которыми вы пользуетесь на своём аккаунте. Оплату списывает BroadNet по указанному ключу.