Sa ikalawang Uno preprint ng BroadNet, unang beses na inilapat ang self-drafting sa isang mixture-of-experts na model. Inilathala sa Zenodo noong 18 Setyembre 2026 sa ilalim ng DOI 10.5281/zenodo.22820511, sine-serve nito ang Gemma 4 26B A4B sa 4-bit at nagsasanay ng Uno adapter para dito. Ang target ay ang parehong base model ng BroadNet Gemma 4 VL 26B sa BroadNet Inference.
Kasunod ito ng Uno in vLLM serving study, na sumubok sa isang dense na 8B model. Sa BroadNet ang mga numero sa ibaba; hindi pa namin ito na-reproduce.
Ano ang tanong?
Nagda-draft ang speculative decoding ng ilang token at bine-verify ang mga ito sa isang pass. Sa mixture-of-experts model, may dagdag na alalahanin: puwedeng mapunta sa magkakaibang expert ang mga draft row, kaya ang pag-draft ng apat na token ay maaaring magbasa ng mas maraming expert weight kaysa sa pag-generate ng isa. Tinatanong ng paper kung ginagawa ng “expert fan-out” na iyon na masyadong mahal ang self-drafting, at kailan tinatalo ng self-drafting ang hiwalay na drafter.
Paano ito sinubukan ng BroadNet?
Mula sa abstract ng paper at sa methods line ng BroadNet:
- Model: Gemma 4 26B A4B, mga 4B parameter na aktibo kada token, na may 4-bit na weights.
- Hardware: mga GPU na nasa 24 GB na klase, isang sequence sa isang pagkakataon.
- Workload: 72 prompt mula sa production traffic ng BroadNet; hinahati ang bawat speed-up sa plain-decoding na run sa parehong session.
- Mahabang context: hiwalay na set ng limang prompt sa mga 10,500 token.
- Adapter: rank 16, sinanay sa 965 row gamit ang parehong 4-bit na checkpoint kung saan ito sine-serve, sa iisang 24 GB na GPU, nang walang full-precision na weights sa loop.
Ano ang natuklasan nito?
| Paano dine-decode ang Gemma 4 26B A4B | Speed-up kumpara sa plain decoding |
|---|---|
| Plain decoding | 1.000 |
| Uno pilot adapter, width 4 | 1.166 |
| Multi-token-prediction drafter, width 2 | 1.474 |
| Block drafter, width 8 | 1.553 |
| Uno sa mga 10,500 token ng context | 1.089 (MTP drafter: 1.011) |
Iba pang resultang iniulat ng BroadNet:
- Nakatulong ang training. Tumaas ang tinanggap na bahagi mula 42.4% papuntang 48.9% sa loob ng 1,500 update, at ang mas malaking corpus na may 2,000 row, na na-train sa parehong recipe, ay tumanggap ng 0.49 na mas maraming draft token kada verify step kaysa sa katugmang anchor run.
- Totoo ang expert fan-out pero mura. Tumama ang apat na draft row sa 22 magkakaibang expert laban sa 8 ng isang row, pero ang buong gastos na kaugnay ng row ay hindi lumampas sa 0.53 step sa isang cycle na mga 2.4. Konklusyon ng BroadNet na ang routing cost ay “worth under a fifth of a cycle” (salin: mas mababa sa ikalimang bahagi ng isang cycle ang halaga) sa ganitong klase ng hardware.
- Lossless. Gumawa ang BroadNet ng check para sa isang profile na ang plain output ay hindi nauulit nang pareho sa iba’t ibang session, at iniulat nito ang Uno bilang “as close to plain as plain is to itself” (salin: kasinlapit sa plain gaya ng lapit ng plain sa sarili nito).
- Limang wika. Ibinibigay ng paper ang tinatawag nitong unang sukat ng acceptance ng adapter na ito sa limang wika.
Ano ang ibig sabihin nito sa praktika?
Simple ang sariling patakaran ng paper: kung may magandang maliit na drafter para sa model mo, gamitin iyon; may lugar ang self-drafting sa mahabang context at sa mga model na walang drafter. Tugma ito sa sinasabi ng BroadNet na pinapatakbo nito: nakalista sa catalogue nito ang Gemma 4 26B sa production na may multi-token-prediction drafter (k=2), na may “90%+ acceptance on structured prompts” (salin: 90%+ na acceptance sa mga structured prompt).
Gaano kalaki ang naidaragdag ng drafter sa production? Iniulat ng catalogue ng BroadNet na nagdagdag ng 48.8% ang multi-token prediction sa isang RTX 3090, at nagbibigay ang page ng Gemma 4 VL 26B nito ng mga 136 token kada segundo sa iisang stream na naka-on ang speculative decoding. Parehong sariling sukat ito ng BroadNet, sa serving configuration na inilalarawan ng model page nito, kaya nakadepende rin ang bilis mo sa API sa load at sa haba ng prompt at sagot mo.
Para sa mga bumibili ng API, ang paraan ang kapaki-pakinabang na bahagi, hindi ang adapter. Sinasabi ng BroadNet na dumadaan sa ganitong arithmetic ang bawat model na sine-serve nito bago umabot sa customer: sukatin ang gastos ng isang draft cycle, saka piliin ang drafter na panalo sa aktuwal na workload. Ang parehong disiplina ang nagtulak dito na hindi gamitin ang EAGLE3 para sa saturated serving.
Ano ang mga limitasyon?
- Single-stream lang. Isang sequence sa isang pagkakataon, isang run kada arm. Iba ang kilos ng batch serving, gaya ng ipinakita ng dense na pag-aaral.
- Isang model. Para sa Gemma 4 26B A4B sa 4-bit sa mga card na nasa 24 GB na klase ang mga resulta.
- Isang preprint. Bersyon 2.3 sa Zenodo, hindi pa peer-reviewed, na may kalakip na companion evidence archive.
Kasama sa release v0.3.0 ng vllm-uno ang serving profile, isang container image at ang validation record, kaya puwedeng suriin ang mga numero. Para subukan ang mismong naka-serve na model, pinapatakbo ng browser playground ng BroadNet ang Gemma 4 nang walang account.
