BroadRouter
Mulai

BroadNet Inference di Dify lewat plugin OpenAI-API-compatible

Diperbarui

Di Dify, instal plugin OpenAI-API-compatible dari Integrations, Model Provider, lalu klik Add Model. Pilih tipe LLM, masukkan ID model BroadNet seperti broadnet/glm-5.3, kunci BroadNet Anda, dan API Base URL https://inference.broadnet.ai/v1. Atur Completion mode ke Chat, ukuran konteks yang sebenarnya, batas output yang menyisakan ruang untuk penalaran, dan Tool Call hanya untuk GLM 5.3 atau Qwen3.8 27B.

Dify adalah platform open source untuk membangun aplikasi dan workflow LLM. Provider yang tidak tercantum namanya di Dify ditambahkan lewat plugin model provider OpenAI-API-compatible, yang diterbitkan tim Dify (langgenius). BroadNet Inference melayani chat completions standar di https://inference.broadnet.ai/v1, jadi cocok dengan plugin ini. BroadRouter adalah situs milik BroadNet sendiri; nama field di bawah diambil dari plugin versi 0.0.83.

Penyiapan

  1. Dapatkan kunci. Buat kunci bayar sesuai pemakaian di konsol BroadNet.

  2. Instal plugin. Di Dify, buka Integrations > Model Provider, cari OpenAI-API-compatible di antara provider yang bisa diinstal (atau buka di Marketplace), lalu instal. Anda harus menjadi owner atau admin workspace.

  3. Tambahkan model. Klik Add Model di kartu provider dan isi:

    Field Nilai
    Model Type LLM
    Model Name broadnet/glm-5.3
    Model display name GLM 5.3 (BroadNet)
    API Key kunci BroadNet Anda
    API Base URL https://inference.broadnet.ai/v1
    Completion mode Chat
    Model context size 1048576
    Upper bound for max tokens 16000
    Function Call Type Tool Call
    Vision Support Not Support
    Structured Output Support
    API Type Chat Completions API (/chat/completions)
    Token parameter name Use max_tokens
  4. Simpan. Dify memeriksa kredensial sebelum menambahkan model.

  5. Uji. Buat aplikasi Chatbot, pilih GLM 5.3 (BroadNet) di pemilih model, lalu kirim pesan di panel pratinjau.

Ulangi Add Model untuk setiap model BroadNet yang ingin Anda pakai. Nama model harus sama persis dengan ID BroadNet, termasuk prefiks broadnet/.

Nilai per model

Model Name Ukuran konteks Function Call Type Vision Support
broadnet/glm-5.3 1048576 Tool Call Not Support
broadnet/qwen3.8-27b 262144 Tool Call Support
broadnet/deepseek-v4.1-flash 1048576 Not Support (belum diuji) Support
broadnet/gemma-4-26b-a4b 32768 Not Support Support

Alasan pilihan ini:

  • Context size default-nya 4.096 di plugin. Jika dibiarkan, Dify memangkas memori dan konteks hasil retrieval jauh di bawah yang bisa diterima model.
  • Upper bound for max tokens juga default-nya 4.096. Tiga dari model ini bernalar sebelum menjawab, dan penalaran ikut dihitung dalam batas ini, jadi beri ruang. 16.000 adalah saran kami, bukan batas dari BroadNet.
  • Token parameter name yang diatur ke max_tokens cocok dengan field di referensi API BroadNet. Default plugin adalah menebak dari nama model.
  • API Type tetap di Chat Completions. BroadNet tidak mencantumkan Responses API.

Transkripsi

Plugin ini juga bisa menambahkan model speech-to-text. BroadNet melayani /v1/audio/transcriptions dengan broadnet/cohere-transcribe-arabic untuk bahasa Arab dan broadnet/cohere-transcribe untuk 14 bahasa. Menurut README plugin, untuk speech-to-text plugin menambahkan path versi sendiri, sehingga contohnya memakai host tanpa /v1 (di sini, https://inference.broadnet.ai). Kami belum menguji jalur ini lewat Dify; periksa dulu dengan file WAV pendek. Lihat panduan speech-to-text bahasa Arab.

Pemecahan masalah

  • Pemeriksaan kredensial gagal. Periksa kunci, API Base URL (diakhiri /v1 untuk LLM), dan nama model. Model berbayar memerlukan top up; kredit $5 hanya mencakup broadnet/gemma-4-26b-a4b.
  • Balasan kosong di workflow. Max tokens pada node LLM terlalu rendah untuk model penalaran. Naikkan. Kenapa jawaban kembali kosong.
  • Node Agent tidak pernah memanggil tools. Pakai GLM 5.3 atau Qwen3.8 27B dengan Function Call Type diatur ke Tool Call.
  • 429 saat beban tinggi. Kunci bayar sesuai pemakaian mengizinkan 30 permintaan per menit dan 4 permintaan yang berjalan bersamaan. Cabang paralel dan node iterasi bisa melampauinya; turunkan paralelismenya. Lihat panduan error dan percobaan ulang.

Pertanyaan umum

Apakah BroadNet bisa dipakai di Dify Cloud dan juga Dify self-hosted?

Bisa. BroadNet Inference adalah endpoint HTTPS publik, jadi Dify Cloud bisa menjangkaunya. Dokumentasi Dify menyebut hanya owner dan admin workspace yang bisa mengelola model provider, dan kunci yang Anda tambahkan berlaku untuk seluruh workspace.

Apakah API Base URL perlu memakai /v1?

Ya, untuk model LLM. Contoh dari plugin itu sendiri memakai base URL yang diakhiri /v1 untuk model chat, dan README-nya memperingatkan bahwa untuk beberapa tipe model lain plugin menambahkan path versi sendiri.

Function Call Type mana yang harus dipilih?

Tool Call untuk GLM 5.3 dan Qwen3.8 27B, yang dicantumkan BroadNet dengan tools. Pilih Not Support untuk DeepSeek V4.1 Flash kecuali Anda sudah menguji tool call di model itu sendiri.

Apakah kredit AI Dify berlaku untuk model BroadNet?

Tidak. Dokumentasi Dify menyebut kredit AI tidak berlaku untuk provider yang Anda jalankan dengan akun sendiri. BroadNet menagih kunci yang Anda masukkan.

Baca sebagai MarkdownTanya ChatGPTTanya ClaudeTanya Perplexity