Setiap pasukan yang membina dengan LLM membuat pilihan ini, selalunya tanpa sedar: model tertutup yang hanya boleh dicapai melalui API satu vendor, atau model open-weight yang pemberatnya boleh dimuat turun dan dijalankan oleh sesiapa sahaja. Pilihan ini mempengaruhi bil anda, laluan data anda, kestabilan produk anda, dan betapa sukarnya untuk berpindah.
Apakah sebenarnya maksud open-weight?
Model open-weight menerbitkan parameter terlatihnya. Anda, atau mana-mana penyedia, boleh menjalankannya. Itu lebih sempit daripada sumber terbuka: data latihan dan keseluruhan saluran latihan biasanya tidak dikeluarkan.
Lesennya berbeza-beza. Sesetengahnya longgar: Whisper daripada OpenAI, sebagai contoh, mengeluarkan kod dan pemberat di bawah lesen MIT. Yang lain menyekat penggunaan komersial, bilangan pengguna atau bidang penggunaan. Baca lesen setiap model sebelum anda membina di atasnya.
Pemberat model tertutup kekal dengan vendor. Anda menyewa akses melalui APInya, atau melalui awan yang dilesenkan oleh vendor.
Perbandingan model open-weight vs tertutup
| Faktor | Open-weight | Tertutup |
|---|---|---|
| Kualiti tertinggi | Ketinggalan barisan hadapan beberapa bulan | Biasanya mendahului pada tugas paling sukar |
| Harga setiap token | Selalunya lebih rendah; hos bersaing pada model yang sama | Ditetapkan oleh satu vendor |
| Di mana ia berjalan | Pelayan anda, GPU sewaan atau mana-mana hos | API vendor atau awan berlesen |
| Pilihan privasi | Hos sendiri, atau pilih hos dengan tanpa penyimpanan data | Terma dan peringkat vendor |
| Kestabilan versi | Pin pemberat tepat selama mana anda mahu | Vendor menamatkan versi mengikut jadualnya |
| Penyesuaian | Tala halus atau kuantasi sendiri | Hanya apa yang ditawarkan vendor |
| Kebergantungan vendor | Rendah: beberapa hos menyajikan pemberat yang sama | Tinggi: satu vendor setiap model |
| Operasi | Tanggungan anda jika hos sendiri | Tanggungan vendor |
Berapa besarkah jurang kualiti?
Lebih kecil daripada dahulu, tetapi nyata. 2025 AI Index Stanford melaporkan bahawa pendahuluan model tertutup teratas berbanding model open-weight teratas pada papan pendahulu Chatbot Arena jatuh daripada 8.04% pada awal Januari 2024 kepada 1.70% menjelang Februari 2025. Epoch AI menganggarkan pada 29 Mei 2026 bahawa “the most capable open-weight models have lagged frontier closed models by an average of four months” (Terjemahan: model open-weight yang paling berkebolehan ketinggalan berbanding model tertutup barisan hadapan dengan purata empat bulan), diukur pada Epoch Capabilities Index.
Secara praktikal:
- Pengelasan, pengekstrakan, ringkasan, terjemahan, chat rutin: model open-weight biasanya cukup baik, dan lebih murah.
- Ejen pengekodan dan dokumen panjang: pilihan open-weight yang kukuh wujud; uji pada repo anda. Lihat model terbuka terbaik untuk ejen pengekodan.
- Penaakulan paling sukar dan keupayaan terbaharu: model tertutup selalunya sampai dahulu.
Papan pendahulu ialah purata. 50 kes ujian sebenar anda ialah penanda aras yang penting.
Apakah tiga cara menjalankan model open-weight?
| Pilihan | Terbaik apabila | Berhati-hati dengan |
|---|---|---|
| Hos sendiri pada GPU anda | Data tidak boleh keluar dari rangkaian anda; GPU sentiasa sibuk | Perkakasan, pemacu, penskalaan, keselamatan, naik taraf |
| Sewa GPU khusus | Beban stabil, pemberat tersuai | Anda membayar untuk jam terbiar |
| API open-weight berhos | Trafik turun naik atau berkembang; mula pantas | Anda mempercayai penyimpanan data dan masa operasi hos |
Hos sendiri kelihatan percuma setiap token, tetapi GPU berkos sama sama ada ia menyajikan satu permintaan sejam atau seribu. Ia berbaloi pada penggunaan yang tinggi dan stabil. Di bawah tahap itu, API setiap token atau pelan kadar tetap biasanya lebih murah.
Berapakah kos model open-weight sebulan?
Harga setiap token untuk model open-weight berhos mudah dikira. Untuk 100 juta token input dan 10 juta token output sebulan pada DeepSeek V4.1 Flash melalui BroadNet:
100 x $0.175 + 10 x $0.52 sebulan, sebelum sebarang diskaun cache.
Jalankan aritmetik yang sama dengan harga setiap juta yang diterbitkan vendor tertutup anda dan kiraan token sebenar anda, atau mulakan daripada perbandingan kos API model open-weight vs tertutup kami, yang menghargakan satu beban kerja pada GPT, Claude, Gemini, Grok dan lima model terbuka. Input cache banyak mengubah hasilnya: token cache pada model ini berkos $0.0055 sejuta. Kalkulator kos API LLM melakukan ini untuk setiap model BroadNet, dan jadual harga API LLM menyenaraikan caj hos lain untuk pemberat terbuka yang sama.
Mengapakah kebergantungan vendor lebih penting daripada yang disangka?
Apabila vendor tertutup menaikkan harga, mengubah terma data atau menamatkan model yang ditala oleh prompt anda, pilihan anda ialah menerimanya atau menulis semula. Dengan model open-weight, anda boleh memindahkan pemberat yang sama ke hos lain, atau ke dalaman, dan mengekalkan tingkah laku yang sama.
Untuk memastikan pilihan itu kekal nyata:
- Panggil model melalui SDK serasi OpenAI dengan base URL dan ID model dalam konfigurasi.
- Simpan set ujian regresi dan jalankannya pada setiap pertukaran penyedia.
- Secara pilihan, letakkan penghala seperti LiteLLM di hadapan, supaya bertukar hanya perubahan konfigurasi.
Bagaimanakah perniagaan menggabungkan model terbuka dan tertutup?
Kebanyakan perniagaan akhirnya menggunakan kedua-duanya:
- Halakan tugas bervolum tinggi yang jelas (pengekstrakan, triaj, ringkasan, langkah rutin ejen) ke model open-weight.
- Halakan tugas yang jarang dan sukar ke model tertutup barisan hadapan.
- Uji semula setiap suku tahun. Memandangkan jurang yang diukur Epoch, tugas berpindah dari senarai kedua ke senarai pertama dari semasa ke semasa.
Di manakah BroadNet Inference sesuai
BroadNet Inference ialah API open-weight berhos: DeepSeek V4.1 Flash, GLM 5.3, Qwen3.8 27B dan binaan BroadNet bagi Gemma 4 daripada Google, serta dua model speech-to-text, semuanya melalui endpoint serasi OpenAI. Pernyataan privasinya menyatakan ia tidak menyimpan prompt atau output dan tidak menggunakan data inferens untuk melatih, menala halus atau menilai model. DeepSeek V4.1 Flash juga tersedia pada pelan kadar tetap daripada $1 sejam hingga $60 sebulan bagi setiap sesi.
Ia tidak menyajikan model tertutup. Jika sesuatu tugas memerlukan GPT, Claude atau Gemini, gunakan vendor tersebut untuk laluan itu dan kekalkan selebihnya pada pemberat terbuka. Untuk menilai BroadNet berbanding penyedia lain, gunakan senarai semak penyedia 20 perkara.
