---
title: "Uno sa Gemma 4 26B MoE: pag-aaral ng BroadNet at DOI"
description: "Sinanay ng BroadNet ang unang Uno self-drafting adapter para sa mixture-of-experts model, Gemma 4 26B A4B. Ano ang sinukat, kailan sulit, at ang DOI."
url: https://broadrouter.com/fil/blog/uno-mixture-of-experts-gemma-4-study/
lang: fil
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Isinalin mula sa Ingles sa tulong ng AI. [Basahin ang orihinal sa Ingles](https://broadrouter.com/blog/uno-mixture-of-experts-gemma-4-study/) (na-update noong 2026-11-16).

# Uno sa Gemma 4 26B: ang mixture-of-experts na pag-aaral ng BroadNet

Ng BroadNet Inference team · 3 minutong basa · Nailathala 2026-11-15 · Na-update 2026-11-16

Sinasanay ng preprint ng BroadNet noong Setyembre 2026 (DOI 10.5281/zenodo.22820511) ang unang Uno adapter para sa isang mixture-of-experts model, ang Gemma 4 26B A4B na naka-serve sa 4-bit. 1.166 beses na mas mabilis mag-decode ang adapter kaysa sa plain decoding sa production workload na may 72 prompt, kasunod ng dalawang hiwalay na drafter na 1.474 at 1.553, pero nauna ito sa production drafter sa mga 10,500 token ng context.

## Mga pangunahing punto

-   Preprint sa Zenodo, DOI 10.5281/zenodo.22820511, bersyon 2.3, 18 Setyembre 2026, CC BY 4.0. Hindi pa peer-reviewed.
-   Target: Gemma 4 26B A4B, ang base ng BroadNet Gemma 4 VL 26B, na naka-serve gamit ang 4-bit na weights.
-   Itinaas ng rank-16 na adapter na sinanay sa 965 row ang mga tinanggap na draft mula 42.4% papuntang 48.9%.
-   Speed-up kumpara sa plain decoding: 1.166x para sa Uno adapter, 1.474x para sa multi-token-prediction drafter, 1.553x para sa block drafter.
-   Sa mga 10,500 token ng context, nauna ang adapter sa production drafter, 1.089x laban sa 1.011x.

**Sa page na ito**

1.  Ano ang tanong?
2.  Paano ito sinubukan ng BroadNet?
3.  Ano ang natuklasan nito?
4.  Ano ang ibig sabihin nito sa praktika?
5.  Ano ang mga limitasyon?

Sa ikalawang Uno preprint ng BroadNet, unang beses na inilapat ang self-drafting sa isang [mixture-of-experts](https://broadrouter.com/fil/glossary/mixture-of-experts/) na model. Inilathala sa Zenodo noong 18 Setyembre 2026 sa ilalim ng DOI [10.5281/zenodo.22820511](https://doi.org/10.5281/zenodo.22820511), sine-serve nito ang Gemma 4 26B A4B sa 4-bit at nagsasanay ng Uno adapter para dito. Ang target ay ang parehong base model ng [BroadNet Gemma 4 VL 26B](https://broadrouter.com/fil/models/gemma-4-vl-26b/) sa BroadNet Inference.

Kasunod ito ng [Uno in vLLM serving study](https://broadrouter.com/fil/blog/uno-in-vllm-serving-study/), na sumubok sa isang dense na 8B model. Sa BroadNet ang mga numero sa ibaba; hindi pa namin ito na-reproduce.

## Ano ang tanong?

Nagda-draft ang speculative decoding ng ilang token at bine-verify ang mga ito sa isang pass. Sa mixture-of-experts model, may dagdag na alalahanin: puwedeng mapunta sa magkakaibang expert ang mga draft row, kaya ang pag-draft ng apat na token ay maaaring magbasa ng mas maraming expert weight kaysa sa pag-generate ng isa. Tinatanong ng paper kung ginagawa ng “expert fan-out” na iyon na masyadong mahal ang self-drafting, at kailan tinatalo ng self-drafting ang hiwalay na drafter.

## Paano ito sinubukan ng BroadNet?

Mula sa abstract ng paper at sa methods line ng BroadNet:

-   **Model:** Gemma 4 26B A4B, mga 4B parameter na aktibo kada token, na may 4-bit na weights.
-   **Hardware:** mga GPU na nasa 24 GB na klase, isang sequence sa isang pagkakataon.
-   **Workload:** 72 prompt mula sa production traffic ng BroadNet; hinahati ang bawat speed-up sa plain-decoding na run sa parehong session.
-   **Mahabang context:** hiwalay na set ng limang prompt sa mga 10,500 token.
-   **Adapter:** rank 16, sinanay sa 965 row gamit ang parehong 4-bit na checkpoint kung saan ito sine-serve, sa iisang 24 GB na GPU, nang walang full-precision na weights sa loop.

## Ano ang natuklasan nito?

| Paano dine-decode ang Gemma 4 26B A4B | Speed-up kumpara sa plain decoding |
| --- | --- |
| Plain decoding | 1.000 |
| Uno pilot adapter, width 4 | 1.166 |
| Multi-token-prediction drafter, width 2 | 1.474 |
| Block drafter, width 8 | 1.553 |
| Uno sa mga 10,500 token ng context | 1.089 (MTP drafter: 1.011) |

Iba pang resultang iniulat ng BroadNet:

-   **Nakatulong ang training.** Tumaas ang tinanggap na bahagi mula 42.4% papuntang 48.9% sa loob ng 1,500 update, at ang mas malaking corpus na may 2,000 row, na na-train sa parehong recipe, ay tumanggap ng 0.49 na mas maraming draft token kada verify step kaysa sa katugmang anchor run.
-   **Totoo ang expert fan-out pero mura.** Tumama ang apat na draft row sa 22 magkakaibang expert laban sa 8 ng isang row, pero ang buong gastos na kaugnay ng row ay hindi lumampas sa 0.53 step sa isang cycle na mga 2.4. Konklusyon ng BroadNet na ang routing cost ay “worth under a fifth of a cycle” (salin: mas mababa sa ikalimang bahagi ng isang cycle ang halaga) sa ganitong klase ng hardware.
-   **Lossless.** Gumawa ang BroadNet ng check para sa isang profile na ang plain output ay hindi nauulit nang pareho sa iba’t ibang session, at iniulat nito ang Uno bilang “as close to plain as plain is to itself” (salin: kasinlapit sa plain gaya ng lapit ng plain sa sarili nito).
-   **Limang wika.** Ibinibigay ng paper ang tinatawag nitong unang sukat ng acceptance ng adapter na ito sa limang wika.

## Ano ang ibig sabihin nito sa praktika?

Simple ang sariling patakaran ng paper: kung may magandang maliit na drafter para sa model mo, gamitin iyon; may lugar ang self-drafting sa mahabang context at sa mga model na walang drafter. Tugma ito sa sinasabi ng BroadNet na pinapatakbo nito: nakalista sa catalogue nito ang Gemma 4 26B sa production na may multi-token-prediction drafter (k=2), na may “90%+ acceptance on structured prompts” (salin: 90%+ na acceptance sa mga structured prompt).

Gaano kalaki ang naidaragdag ng drafter sa production? Iniulat ng catalogue ng BroadNet na nagdagdag ng 48.8% ang multi-token prediction sa isang RTX 3090, at nagbibigay ang page ng Gemma 4 VL 26B nito ng mga 136 token kada segundo sa iisang stream na naka-on ang speculative decoding. Parehong sariling sukat ito ng BroadNet, sa serving configuration na inilalarawan ng model page nito, kaya nakadepende rin ang bilis mo sa API sa load at sa haba ng prompt at sagot mo.

Para sa mga bumibili ng API, ang paraan ang kapaki-pakinabang na bahagi, hindi ang adapter. Sinasabi ng BroadNet na dumadaan sa ganitong arithmetic ang bawat model na sine-serve nito bago umabot sa customer: sukatin ang gastos ng isang draft cycle, saka piliin ang drafter na panalo sa aktuwal na workload. Ang parehong disiplina ang nagtulak dito na [hindi gamitin ang EAGLE3](https://broadrouter.com/fil/blog/models-broadnet-ruled-out/) para sa saturated serving.

## Ano ang mga limitasyon?

-   **Single-stream lang.** Isang sequence sa isang pagkakataon, isang run kada arm. Iba ang kilos ng batch serving, gaya ng ipinakita ng dense na pag-aaral.
-   **Isang model.** Para sa Gemma 4 26B A4B sa 4-bit sa mga card na nasa 24 GB na klase ang mga resulta.
-   **Isang preprint.** Bersyon 2.3 sa Zenodo, hindi pa peer-reviewed, na may kalakip na companion evidence archive.

Kasama sa release v0.3.0 ng [vllm-uno](https://github.com/brntech/vllm-uno/releases/tag/v0.3.0) ang serving profile, isang container image at ang validation record, kaya puwedeng suriin ang mga numero. Para subukan ang mismong naka-serve na model, pinapatakbo ng [browser playground](https://broadrouter.com/fil/guides/try-broadnet-inference-playground/) ng BroadNet ang Gemma 4 nang walang account.

Mga libreng tool para rito (Ingles)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Libreng tools (Ingles)](https://broadrouter.com/tools/)

## Mga termino sa artikulong ito

[Token](https://broadrouter.com/fil/glossary/token/)

Ang token ay ang yunit ng text na binabasa at isinusulat ng isang language model: isang salita, bahagi ng salita, bantas o byte sequence na ginawa ng tokenizer ng model. Sa token binibilang, nililimitahan at kadalasang sinisingil ng mga LLM API ang paggamit.

[Context window](https://broadrouter.com/fil/glossary/context-window/)

Ang context window ay ang pinakamaraming token na kayang hawakan ng isang language model sa iisang request. Sakop nito ang prompt, history ng usapan, tool definitions, mga larawan at ang nabuong output, kasama ang anumang reasoning tokens. Ang hindi kasya ay kailangang bawasan, ibuod o hatiin sa ilang request.

[Speculative decoding](https://broadrouter.com/fil/glossary/speculative-decoding/)

Ang speculative decoding ay inference technique kung saan nagmumungkahi ang isang maliit at mabilis na draft model ng ilang susunod na token, at sabay-sabay itong bine-verify ng malaking target model sa iisang forward pass, saka pinapanatili ang mga tinanggap. Pinapabilis nito ang generation nang hindi binabago ang distribution ng output.

[Mixture of experts (MoE)](https://broadrouter.com/fil/glossary/mixture-of-experts/)

Ang mixture of experts (MoE) ay disenyo ng neural network kung saan may maraming expert sub-network ang isang layer at ipinapadala ng isang natutong router ang bawat token sa iilan lang sa mga ito. Malaki ang kabuuang bilang ng parameter ng isang MoE language model pero maliit na active na bahagi lang ang ginagamit kada token.

[vLLM](https://broadrouter.com/fil/glossary/vllm/)

Ang vLLM ay isang open-source na library para sa LLM inference at serving, na unang binuo sa Sky Computing Lab ng UC Berkeley. Pinamamahalaan nito ang KV cache memory gamit ang PagedAttention, tuloy-tuloy na bina-batch ang mga papasok na request, sumusuporta sa maraming quantization format at may OpenAI-compatible na HTTP server.

## Mga tanong

### Ano ang mixture-of-experts model?

Isang model na ang mga layer ay may maraming expert sub-network, at iilan lang sa mga ito ang tumatakbo kada token. May 26B parameter sa kabuuan ang Gemma 4 26B A4B at mga 4B lang ang aktibo kada token, kaya mura itong i-serve para sa laki nito.

### Bakit mas mabagal ang Uno adapter kaysa sa ibang drafter dito?

Ipinapaliwanag ito ng paper bilang usapin ng istruktura: dalawang forward pass ng buong model ang gastos ng isang self-drafting cycle, samantalang pinapalitan ng hiwalay na drafter ang isa sa mga ito ng maliit na network. Kaya kadalasang panalo ang dedikadong maliit na drafter kapag mayroon nito.

### Kailan sulit ang self-drafting?

Ayon sa paper, sa mahabang context, kung saan mas maraming token kada cycle ang naipapasa ng mas malapad na draft (1.089x laban sa 1.011x sa mga 10,500 token), at sa mga model na walang maliit na drafter.

### Ginagamit ba ng BroadNet ang adapter na ito para sa Gemma 4 API nito?

Sinasabi ng model page ng BroadNet na naka-serve ang Gemma 4 26B build nito gamit ang multi-token-prediction speculative decoding (k=2). Inilathala ang Uno adapter bilang research artifact; hindi sinasabi ng BroadNet na ginagamit nito ito sa API traffic.

### Puwede ko bang i-download ang adapter?

Oo. Inilalathala ito ng BroadNet sa Hugging Face bilang Broadnet/gemma-4-26B-A4B-uno-pilot-adapter, kasama ang serving profile at container image sa vllm-uno release v0.3.0.

## Magbasa pa

-   [Uno sa vLLM: ano ang sinukat ng serving study ng BroadNet](https://broadrouter.com/fil/blog/uno-in-vllm-serving-study/)
-   [GPU hardware at paraan ng serving ng BroadNet, ayon sa BroadNet](https://broadrouter.com/fil/blog/broadnet-gpu-fleet-and-serving/)
-   [Mga model na sinubukan at tinanggihan ng BroadNet, at bakit](https://broadrouter.com/fil/blog/models-broadnet-ruled-out/)
-   [Kailan sulit ang 1M-token na context window (at kailan hindi)](https://broadrouter.com/fil/blog/million-token-context-window-guide/)
-   [I-cache ang LLM API response, makatipid: exact-match cache sa Python](https://broadrouter.com/fil/blog/cache-llm-responses-cut-cost/)
-   [Gawing bahagi ng document AI workflow mo ang human review](https://broadrouter.com/fil/blog/document-review-queues/)

Subukan ito sa totoong workload mo. May US$5 na panimulang credit ang mga bagong account para sa Gemma at transcription. Kailangan ng top-up para sa DeepSeek, GLM, at Qwen3.8.

[Magsimula](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=fil-blog-uno-mixture-of-experts-gemma-4-study&utm_content=page-cta) ·

**Mga source**

-   [Al Zubaidi, Self-drafting with Uno on a mixture of experts: serving and training an adapter for Gemma 4 26B A4B, Zenodo preprint v2.3, 2026-09-18 (kinuha ang record noong 2026-11-15)](https://doi.org/10.5281/zenodo.22820511)
-   [Blog ng BroadNet, Uno for vLLM now runs mixture-of-experts models (17 Setyembre 2026; kinuha noong 2026-11-15) (Ingles)](https://www.broadnet.ai/blog/uno-mixture-of-experts)
-   [BroadNet Research: mga pangunahing natuklasan (kinuha noong 2026-11-15) (Ingles)](https://www.broadnet.ai/research)
-   [vllm-uno release v0.3.0 (kinuha noong 2026-11-15)](https://github.com/brntech/vllm-uno/releases/tag/v0.3.0)
-   [Model page ng BroadNet Gemma 4 VL 26B: serving configuration (kinuha noong 2026-11-15) (Ingles)](https://www.broadnet.ai/inference/models/gemma-4-vl-26b)
