Pracetak Uno kedua BroadNet menggunakan self-drafting pada model mixture-of-experts buat kali pertama. Diterbitkan di Zenodo pada 18 September 2026 di bawah DOI 10.5281/zenodo.22820511, ia menyajikan Gemma 4 26B A4B pada 4-bit dan melatih penyesuai Uno untuknya. Sasarannya ialah model asas yang sama dengan BroadNet Gemma 4 VL 26B di BroadNet Inference.
Ia menyusuli kajian penyajian Uno dalam vLLM, yang menguji model padat 8B. Angka di bawah ialah angka BroadNet; kami belum menghasilkannya semula.
Apakah soalannya?
Speculative decoding mendraf beberapa token dan mengesahkannya dalam satu laluan. Pada model mixture-of-experts terdapat kebimbangan tambahan: baris draf boleh dihalakan ke pakar yang berbeza, jadi mendraf empat token mungkin membaca jauh lebih banyak pemberat pakar berbanding menjana satu. Kertas itu bertanya sama ada “expert fan-out” itu menjadikan self-drafting terlalu mahal, dan bilakah self-drafting mengatasi pendraf berasingan.
Bagaimanakah BroadNet mengujinya?
Daripada abstrak kertas dan baris kaedah BroadNet:
- Model: Gemma 4 26B A4B, kira-kira 4B parameter aktif bagi setiap token, dengan pemberat 4-bit.
- Perkakasan: GPU kelas 24 GB, satu jujukan pada satu masa.
- Beban kerja: 72 prompt daripada trafik pengeluaran BroadNet; setiap peningkatan kelajuan dibahagi dengan larian penyahkodan biasa dalam sesi yang sama.
- Konteks panjang: set berasingan lima prompt pada kira-kira 10,500 token.
- Penyesuai: rank 16, dilatih pada 965 baris melalui checkpoint 4-bit yang sama tempat ia disajikan, pada satu GPU 24 GB, tanpa pemberat ketepatan penuh dalam gelung.
Apakah dapatannya?
| Cara Gemma 4 26B A4B dinyahkod | Peningkatan kelajuan berbanding penyahkodan biasa |
|---|---|
| Penyahkodan biasa | 1.000 |
| Penyesuai perintis Uno, lebar 4 | 1.166 |
| Pendraf multi-token-prediction, lebar 2 | 1.474 |
| Pendraf blok, lebar 8 | 1.553 |
| Uno pada kira-kira 10,500 token konteks | 1.089 (pendraf MTP: 1.011) |
Keputusan lain yang dilaporkan BroadNet:
- Latihan membantu. Bahagian yang diterima meningkat daripada 42.4% kepada 48.9% sepanjang 1,500 kemas kini, dan korpus 2,000 baris yang lebih besar, dilatih dengan resipi yang sama, menerima 0.49 lebih banyak token draf bagi setiap langkah pengesahan berbanding larian anchor yang sepadan.
- Expert fan-out itu nyata tetapi murah. Empat baris draf menyentuh 22 pakar berbeza berbanding 8 bagi satu baris, namun keseluruhan kos berkaitan baris terhad kepada 0.53 langkah dalam kitaran kira-kira 2.4. BroadNet menyimpulkan kos penghalaan itu “worth under a fifth of a cycle” (Terjemahan: bernilai kurang daripada satu perlima kitaran) pada kelas perkakasan ini.
- Tanpa kehilangan. BroadNet membina semakan untuk profil yang output biasanya tidak berulang sama merentas sesi, dan melaporkan Uno “as close to plain as plain is to itself” (Terjemahan: sedekat dengan biasa sebagaimana biasa dengan dirinya sendiri).
- Lima bahasa. Kertas itu memberikan apa yang disebutnya ukuran pertama penerimaan penyesuai ini merentas lima bahasa.
Apakah maksudnya secara praktikal?
Peraturan kertas itu sendiri mudah: jika pendraf kecil yang baik wujud untuk model anda, gunakannya; self-drafting berbaloi pada konteks panjang dan pada model yang tiada pendraf. Itu sepadan dengan apa yang BroadNet katakan ia jalankan: katalognya menyenaraikan Gemma 4 26B dalam pengeluaran dengan pendraf multi-token-prediction (k=2), dengan “90%+ acceptance on structured prompts” (Terjemahan: penerimaan 90%+ pada prompt berstruktur).
Berapa banyak pendraf menambah dalam pengeluaran? Katalog BroadNet melaporkan multi-token prediction menambah 48.8% pada RTX 3090, dan halaman Gemma 4 VL 26Bnya memberikan kira-kira 136 token sesaat pada satu strim dengan speculative decoding dihidupkan. Kedua-duanya ukuran BroadNet sendiri, pada konfigurasi penyajian yang diterangkan oleh halaman modelnya, jadi kelajuan anda melalui API juga bergantung pada beban dan panjang prompt serta jawapan anda.
Bagi pembeli API, bahagian yang berguna ialah kaedahnya, bukan penyesuainya. BroadNet menyatakan setiap model yang disajikannya melalui aritmetik ini sebelum sampai kepada pelanggan: ukur kos satu kitaran draf, kemudian pilih pendraf yang menang pada beban kerja sebenar. Disiplin yang sama menyebabkannya menolak EAGLE3 untuk penyajian tepu.
Apakah hadnya?
- Satu strim sahaja. Satu jujukan pada satu masa, satu larian bagi setiap lengan. Penyajian kelompok berkelakuan berbeza, seperti yang ditunjukkan oleh kajian model padat.
- Satu model. Keputusan adalah untuk Gemma 4 26B A4B pada 4-bit pada kad kelas 24 GB.
- Pracetak. Versi 2.3 di Zenodo, belum disemak rakan sebaya, dengan arkib bukti pengiring dilampirkan.
Keluaran v0.3.0 vllm-uno membawa profil penyajian, imej bekas dan rekod pengesahan, jadi angka itu boleh disemak. Untuk mencuba model yang disajikan itu sendiri, playground dalam pelayar BroadNet menjalankan Gemma 4 tanpa akaun.
