BroadRouter

Uno sa Gemma 4 26B: ang mixture-of-experts na pag-aaral ng BroadNet

Ng BroadNet Inference team · 3 minutong basa · Nailathala · Na-update

Sinasanay ng preprint ng BroadNet noong Setyembre 2026 (DOI 10.5281/zenodo.22820511) ang unang Uno adapter para sa isang mixture-of-experts model, ang Gemma 4 26B A4B na naka-serve sa 4-bit. 1.166 beses na mas mabilis mag-decode ang adapter kaysa sa plain decoding sa production workload na may 72 prompt, kasunod ng dalawang hiwalay na drafter na 1.474 at 1.553, pero nauna ito sa production drafter sa mga 10,500 token ng context.

Sa ikalawang Uno preprint ng BroadNet, unang beses na inilapat ang self-drafting sa isang mixture-of-experts na model. Inilathala sa Zenodo noong 18 Setyembre 2026 sa ilalim ng DOI 10.5281/zenodo.22820511, sine-serve nito ang Gemma 4 26B A4B sa 4-bit at nagsasanay ng Uno adapter para dito. Ang target ay ang parehong base model ng BroadNet Gemma 4 VL 26B sa BroadNet Inference.

Kasunod ito ng Uno in vLLM serving study, na sumubok sa isang dense na 8B model. Sa BroadNet ang mga numero sa ibaba; hindi pa namin ito na-reproduce.

Ano ang tanong?

Nagda-draft ang speculative decoding ng ilang token at bine-verify ang mga ito sa isang pass. Sa mixture-of-experts model, may dagdag na alalahanin: puwedeng mapunta sa magkakaibang expert ang mga draft row, kaya ang pag-draft ng apat na token ay maaaring magbasa ng mas maraming expert weight kaysa sa pag-generate ng isa. Tinatanong ng paper kung ginagawa ng “expert fan-out” na iyon na masyadong mahal ang self-drafting, at kailan tinatalo ng self-drafting ang hiwalay na drafter.

Paano ito sinubukan ng BroadNet?

Mula sa abstract ng paper at sa methods line ng BroadNet:

  • Model: Gemma 4 26B A4B, mga 4B parameter na aktibo kada token, na may 4-bit na weights.
  • Hardware: mga GPU na nasa 24 GB na klase, isang sequence sa isang pagkakataon.
  • Workload: 72 prompt mula sa production traffic ng BroadNet; hinahati ang bawat speed-up sa plain-decoding na run sa parehong session.
  • Mahabang context: hiwalay na set ng limang prompt sa mga 10,500 token.
  • Adapter: rank 16, sinanay sa 965 row gamit ang parehong 4-bit na checkpoint kung saan ito sine-serve, sa iisang 24 GB na GPU, nang walang full-precision na weights sa loop.

Ano ang natuklasan nito?

Paano dine-decode ang Gemma 4 26B A4B Speed-up kumpara sa plain decoding
Plain decoding 1.000
Uno pilot adapter, width 4 1.166
Multi-token-prediction drafter, width 2 1.474
Block drafter, width 8 1.553
Uno sa mga 10,500 token ng context 1.089 (MTP drafter: 1.011)

Iba pang resultang iniulat ng BroadNet:

  • Nakatulong ang training. Tumaas ang tinanggap na bahagi mula 42.4% papuntang 48.9% sa loob ng 1,500 update, at ang mas malaking corpus na may 2,000 row, na na-train sa parehong recipe, ay tumanggap ng 0.49 na mas maraming draft token kada verify step kaysa sa katugmang anchor run.
  • Totoo ang expert fan-out pero mura. Tumama ang apat na draft row sa 22 magkakaibang expert laban sa 8 ng isang row, pero ang buong gastos na kaugnay ng row ay hindi lumampas sa 0.53 step sa isang cycle na mga 2.4. Konklusyon ng BroadNet na ang routing cost ay “worth under a fifth of a cycle” (salin: mas mababa sa ikalimang bahagi ng isang cycle ang halaga) sa ganitong klase ng hardware.
  • Lossless. Gumawa ang BroadNet ng check para sa isang profile na ang plain output ay hindi nauulit nang pareho sa iba’t ibang session, at iniulat nito ang Uno bilang “as close to plain as plain is to itself” (salin: kasinlapit sa plain gaya ng lapit ng plain sa sarili nito).
  • Limang wika. Ibinibigay ng paper ang tinatawag nitong unang sukat ng acceptance ng adapter na ito sa limang wika.

Ano ang ibig sabihin nito sa praktika?

Simple ang sariling patakaran ng paper: kung may magandang maliit na drafter para sa model mo, gamitin iyon; may lugar ang self-drafting sa mahabang context at sa mga model na walang drafter. Tugma ito sa sinasabi ng BroadNet na pinapatakbo nito: nakalista sa catalogue nito ang Gemma 4 26B sa production na may multi-token-prediction drafter (k=2), na may “90%+ acceptance on structured prompts” (salin: 90%+ na acceptance sa mga structured prompt).

Gaano kalaki ang naidaragdag ng drafter sa production? Iniulat ng catalogue ng BroadNet na nagdagdag ng 48.8% ang multi-token prediction sa isang RTX 3090, at nagbibigay ang page ng Gemma 4 VL 26B nito ng mga 136 token kada segundo sa iisang stream na naka-on ang speculative decoding. Parehong sariling sukat ito ng BroadNet, sa serving configuration na inilalarawan ng model page nito, kaya nakadepende rin ang bilis mo sa API sa load at sa haba ng prompt at sagot mo.

Para sa mga bumibili ng API, ang paraan ang kapaki-pakinabang na bahagi, hindi ang adapter. Sinasabi ng BroadNet na dumadaan sa ganitong arithmetic ang bawat model na sine-serve nito bago umabot sa customer: sukatin ang gastos ng isang draft cycle, saka piliin ang drafter na panalo sa aktuwal na workload. Ang parehong disiplina ang nagtulak dito na hindi gamitin ang EAGLE3 para sa saturated serving.

Ano ang mga limitasyon?

  • Single-stream lang. Isang sequence sa isang pagkakataon, isang run kada arm. Iba ang kilos ng batch serving, gaya ng ipinakita ng dense na pag-aaral.
  • Isang model. Para sa Gemma 4 26B A4B sa 4-bit sa mga card na nasa 24 GB na klase ang mga resulta.
  • Isang preprint. Bersyon 2.3 sa Zenodo, hindi pa peer-reviewed, na may kalakip na companion evidence archive.

Kasama sa release v0.3.0 ng vllm-uno ang serving profile, isang container image at ang validation record, kaya puwedeng suriin ang mga numero. Para subukan ang mismong naka-serve na model, pinapatakbo ng browser playground ng BroadNet ang Gemma 4 nang walang account.

Mga tanong

Ano ang mixture-of-experts model?

Isang model na ang mga layer ay may maraming expert sub-network, at iilan lang sa mga ito ang tumatakbo kada token. May 26B parameter sa kabuuan ang Gemma 4 26B A4B at mga 4B lang ang aktibo kada token, kaya mura itong i-serve para sa laki nito.

Bakit mas mabagal ang Uno adapter kaysa sa ibang drafter dito?

Ipinapaliwanag ito ng paper bilang usapin ng istruktura: dalawang forward pass ng buong model ang gastos ng isang self-drafting cycle, samantalang pinapalitan ng hiwalay na drafter ang isa sa mga ito ng maliit na network. Kaya kadalasang panalo ang dedikadong maliit na drafter kapag mayroon nito.

Kailan sulit ang self-drafting?

Ayon sa paper, sa mahabang context, kung saan mas maraming token kada cycle ang naipapasa ng mas malapad na draft (1.089x laban sa 1.011x sa mga 10,500 token), at sa mga model na walang maliit na drafter.

Ginagamit ba ng BroadNet ang adapter na ito para sa Gemma 4 API nito?

Sinasabi ng model page ng BroadNet na naka-serve ang Gemma 4 26B build nito gamit ang multi-token-prediction speculative decoding (k=2). Inilathala ang Uno adapter bilang research artifact; hindi sinasabi ng BroadNet na ginagamit nito ito sa API traffic.

Puwede ko bang i-download ang adapter?

Oo. Inilalathala ito ng BroadNet sa Hugging Face bilang Broadnet/gemma-4-26B-A4B-uno-pilot-adapter, kasama ang serving profile at container image sa vllm-uno release v0.3.0.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity