---
title: "Uno no Gemma 4 26B MoE: estudo da BroadNet e DOI | BroadRouter"
description: "A BroadNet treinou o primeiro adapter Uno de self-drafting para um modelo mixture of experts, o Gemma 4 26B A4B. O que mediu, quando compensa e o DOI."
url: https://broadrouter.com/pt/blog/uno-mixture-of-experts-gemma-4-study/
lang: pt-BR
updated: 2026-11-15
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Traduzido do inglês com ajuda de IA. [Leia o original em inglês](https://broadrouter.com/blog/uno-mixture-of-experts-gemma-4-study/) (atualizado em 2026-11-16).

# Uno no Gemma 4 26B: o estudo da BroadNet com mixture of experts

Pela equipe da BroadNet Inference · 3 min de leitura · Publicado em 2026-11-15 · Atualizado em 2026-11-16

O preprint da BroadNet de setembro de 2026 (DOI 10.5281/zenodo.22820511) treina o primeiro adapter Uno para um modelo mixture of experts, o Gemma 4 26B A4B, servido em 4 bits. O adapter decodifica 1,166 vez mais rápido que a decodificação simples em 72 prompts de produção, atrás de dois drafters separados com 1,474 e 1,553, mas supera o drafter de produção com cerca de 10.500 tokens de contexto.

## Pontos principais

-   Preprint no Zenodo, DOI 10.5281/zenodo.22820511, versão 2.3, 18 de setembro de 2026, CC BY 4.0. Sem revisão por pares.
-   Modelo-alvo: Gemma 4 26B A4B, a base do BroadNet Gemma 4 VL 26B, servido com pesos em 4 bits.
-   Um adapter de rank 16 treinado em 965 linhas elevou os rascunhos aceitos de 42,4% para 48,9%.
-   Aceleração sobre a decodificação simples: 1,166x para o adapter Uno, 1,474x para um drafter de multi-token prediction, 1,553x para um drafter de blocos.
-   Com cerca de 10.500 tokens de contexto, o adapter superou o drafter de produção, 1,089x contra 1,011x.

**Nesta página**

1.  Qual era a pergunta?
2.  Como a BroadNet testou?
3.  O que o estudo encontrou?
4.  O que isso significa na prática?
5.  Quais são os limites?

O segundo preprint da BroadNet sobre o Uno aplica pela primeira vez o self-drafting a um modelo [mixture of experts](https://broadrouter.com/pt/glossary/mixture-of-experts/). Publicado no Zenodo em 18 de setembro de 2026 com o DOI [10.5281/zenodo.22820511](https://doi.org/10.5281/zenodo.22820511), ele serve o Gemma 4 26B A4B em 4 bits e treina um adapter Uno para ele. O alvo é o mesmo modelo base do [BroadNet Gemma 4 VL 26B](https://broadrouter.com/pt/models/gemma-4-vl-26b/) na BroadNet Inference.

Ele dá sequência ao [estudo do Uno no serving com vLLM](https://broadrouter.com/pt/blog/uno-in-vllm-serving-study/), que testou um modelo denso de 8B. Os números abaixo são da BroadNet; não os reproduzimos.

## Qual era a pergunta?

O speculative decoding rascunha vários tokens e os verifica em uma única passagem. Em um modelo mixture of experts há uma preocupação extra: as linhas do rascunho podem ser roteadas para especialistas diferentes, então rascunhar quatro tokens poderia ler muito mais pesos de especialistas do que gerar um. O artigo pergunta se esse “expert fan-out” deixa o self-drafting caro demais, e quando o self-drafting vence um drafter separado.

## Como a BroadNet testou?

Segundo o resumo do artigo e a descrição de métodos da BroadNet:

-   **Modelo:** Gemma 4 26B A4B, cerca de 4B de parâmetros ativos por token, com pesos em 4 bits.
-   **Hardware:** GPUs da classe de 24 GB, uma sequência por vez.
-   **Carga de trabalho:** 72 prompts do tráfego de produção da BroadNet; cada aceleração é dividida por uma execução com decodificação simples na mesma sessão.
-   **Contexto longo:** um conjunto separado de cinco prompts com cerca de 10.500 tokens.
-   **Adapter:** rank 16, treinado em 965 linhas usando o mesmo checkpoint em 4 bits com que é servido, em uma única GPU de 24 GB, sem pesos em precisão total no processo.

## O que o estudo encontrou?

| Como o Gemma 4 26B A4B foi decodificado | Aceleração sobre a decodificação simples |
| --- | --- |
| Decodificação simples | 1,000 |
| Adapter piloto Uno, largura 4 | 1,166 |
| Drafter de multi-token prediction, largura 2 | 1,474 |
| Drafter de blocos, largura 8 | 1,553 |
| Uno com cerca de 10.500 tokens de contexto | 1,089 (drafter MTP: 1,011) |

Outros resultados relatados pela BroadNet:

-   **O treinamento ajudou.** A parcela aceita subiu de 42,4% para 48,9% em 1.500 atualizações, e um corpus maior, de 2.000 linhas, treinado com a mesma receita, fez aceitar 0,49 token de rascunho a mais por passo de verificação do que a execução âncora equivalente.
-   **O expert fan-out é real, mas barato.** Quatro linhas de rascunho tocaram 22 especialistas distintos contra 8 de uma linha só, mas todo o custo ligado às linhas ficou limitado a 0,53 passo em um ciclo de cerca de 2,4. A BroadNet conclui que o custo de roteamento vale “under a fifth of a cycle” (tradução: “menos de um quinto de ciclo”) nessa classe de hardware.
-   **Sem perdas.** A BroadNet criou uma verificação para um perfil cuja saída simples não se reproduz igual entre sessões, e relata o Uno “as close to plain as plain is to itself” (tradução: “tão perto da decodificação simples quanto a decodificação simples está de si mesma”).
-   **Cinco idiomas.** O artigo traz o que chama de primeira medição da aceitação desse adapter em cinco idiomas.

## O que isso significa na prática?

A regra do próprio artigo é simples: se existe um bom drafter pequeno para o seu modelo, use-o; o self-drafting se justifica com contexto longo e em modelos que não têm drafter. Isso bate com o que a BroadNet diz usar: seu catálogo lista o Gemma 4 26B em produção com um drafter de multi-token prediction (k=2), com “90%+ acceptance on structured prompts” (tradução: “mais de 90% de aceitação em prompts estruturados”).

Quanto um drafter acrescenta em produção? O catálogo da BroadNet relata que a multi-token prediction acrescentou 48,8% em uma RTX 3090, e a página do Gemma 4 VL 26B informa cerca de 136 tokens por segundo em um único stream com speculative decoding ligado. Ambas são medições da própria BroadNet, na configuração de serving descrita na página do modelo, então a velocidade que você obtém pela API também depende da carga e do tamanho do seu prompt e da resposta.

Para quem compra uma API, a parte útil é o método, não o adapter. A BroadNet diz que todo modelo que serve passa por essa conta antes de chegar a um cliente: medir o custo de um ciclo de rascunho e depois escolher o drafter que vence na carga real. A mesma disciplina a levou a [descartar o EAGLE3](https://broadrouter.com/pt/blog/models-broadnet-ruled-out/) para serving saturado.

## Quais são os limites?

-   **Só stream único.** Uma sequência por vez, uma execução por variante. O serving em lote se comporta de outro jeito, como mostrou o estudo com o modelo denso.
-   **Um modelo só.** Os resultados valem para o Gemma 4 26B A4B em 4 bits em placas da classe de 24 GB.
-   **Um preprint.** Versão 2.3 no Zenodo, sem revisão por pares, com um arquivo de evidências anexo.

A release v0.3.0 do [vllm-uno](https://github.com/brntech/vllm-uno/releases/tag/v0.3.0) traz o perfil de serving, uma imagem de contêiner e o registro de validação, então os números podem ser conferidos. Para testar o próprio modelo servido, o [playground no navegador](https://broadrouter.com/pt/guides/try-broadnet-inference-playground/) da BroadNet roda o Gemma 4 sem conta.

Ferramentas gratuitas sobre o tema (em inglês)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Ferramentas gratuitas (em inglês)](https://broadrouter.com/tools/)

## Termos neste artigo

[Token](https://broadrouter.com/pt/glossary/token/)

Um token é a unidade de texto que um modelo de linguagem lê e escreve: uma palavra, parte de uma palavra, um sinal de pontuação ou uma sequência de bytes gerada pelo tokenizador do modelo. As APIs de LLM contam, limitam e normalmente cobram o uso em tokens.

[Prefill e decode](https://broadrouter.com/pt/glossary/prefill-and-decode/)

Prefill e decode são as duas fases da inferência de um LLM. No prefill, o modelo processa o prompt inteiro em paralelo e preenche o KV cache; no decode, gera a resposta um token por vez, reaproveitando esse cache. O prefill define principalmente o tempo até o primeiro token; o decode, a velocidade de saída.

[Mixture of experts (MoE)](https://broadrouter.com/pt/glossary/mixture-of-experts/)

Mixture of experts (MoE) é uma arquitetura de rede neural em que uma camada contém muitas sub-redes especialistas e um roteador aprendido envia cada token para apenas algumas delas. Um modelo de linguagem MoE tem um número total de parâmetros grande, mas usa um pequeno subconjunto ativo para cada token.

[Speculative decoding (decodificação especulativa)](https://broadrouter.com/pt/glossary/speculative-decoding/)

Speculative decoding (decodificação especulativa) é uma técnica de inferência em que um modelo draft pequeno e rápido propõe vários próximos tokens e o modelo alvo, maior, os verifica em um único forward pass, mantendo os aceitos. Ela acelera a geração sem mudar a distribuição da saída.

[Tokens por segundo (tokens per second)](https://broadrouter.com/pt/glossary/tokens-per-second/)

Tokens por segundo (TPS) são a taxa com que um modelo de linguagem gera tokens de saída, geralmente medida para uma requisição depois que o primeiro token chega. Definem a rapidez com que a resposta flui depois de começar. Somados em todas as requisições simultâneas, viram throughput do sistema; a espera pelo primeiro token é medida à parte.

[vLLM](https://broadrouter.com/pt/glossary/vllm/)

vLLM é uma biblioteca open source de inferência e serving de LLMs, desenvolvida originalmente no Sky Computing Lab da UC Berkeley. Ela gerencia a memória do KV cache com PagedAttention, agrupa as requisições em batching contínuo, suporta muitos formatos de quantização e expõe um servidor HTTP compatível com OpenAI.

## Perguntas frequentes

### O que é um modelo mixture of experts?

Um modelo cujas camadas contêm muitas sub-redes especialistas, das quais só algumas rodam para cada token. O Gemma 4 26B A4B tem 26B de parâmetros no total e cerca de 4B ativos por token, e é por isso que sai barato servi-lo para o tamanho que tem.

### Por que aqui o adapter Uno é mais lento que os outros drafters?

O artigo explica isso como algo estrutural: um ciclo de self-drafting custa duas passagens forward do modelo completo, enquanto um drafter separado substitui uma delas por uma rede pequena. Por isso, quando existe um drafter pequeno dedicado, ele costuma vencer.

### Quando o self-drafting compensa?

Segundo o artigo, com contexto longo, em que o rascunho mais largo confirma mais tokens por ciclo (1,089x contra 1,011x com cerca de 10.500 tokens), e em modelos que não têm nenhum drafter pequeno.

### A BroadNet usa esse adapter na sua API do Gemma 4?

A página do modelo da BroadNet diz que sua build do Gemma 4 26B é servida com speculative decoding por multi-token prediction (k=2). O adapter Uno foi publicado como artefato de pesquisa; a BroadNet não diz que o usa para servir o tráfego da API.

### Posso baixar o adapter?

Sim. A BroadNet o publica no Hugging Face como Broadnet/gemma-4-26B-A4B-uno-pilot-adapter, com o perfil de serving e a imagem de contêiner na release v0.3.0 do vllm-uno.

## Continue lendo

-   [Uno no vLLM: o que o estudo de serving da BroadNet mediu](https://broadrouter.com/pt/blog/uno-in-vllm-serving-study/)
-   [Hardware de GPU e serving da BroadNet, segundo a própria BroadNet](https://broadrouter.com/pt/blog/broadnet-gpu-fleet-and-serving/)
-   [Os modelos que a BroadNet avaliou e descartou, e por quê](https://broadrouter.com/pt/blog/models-broadnet-ruled-out/)
-   [Quando vale a pena uma janela de contexto de 1M de tokens (ou não)](https://broadrouter.com/pt/blog/million-token-context-window-guide/)
-   [Cache de respostas de LLM para cortar custo: um cache exato em Python](https://broadrouter.com/pt/blog/cache-llm-responses-cut-cost/)
-   [Revisão humana no seu fluxo de IA para documentos](https://broadrouter.com/pt/blog/document-review-queues/)

Teste com a sua carga de trabalho real. Contas novas começam com US$ 5 de crédito para Gemma e transcrição. DeepSeek, GLM e Qwen3.8 exigem uma recarga.

[Começar](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=pt-blog-uno-mixture-of-experts-gemma-4-study&utm_content=page-cta) ·

**Fontes**

-   [Al Zubaidi, Self-drafting with Uno on a mixture of experts: serving and training an adapter for Gemma 4 26B A4B, preprint no Zenodo v2.3, 2026-09-18 (registro consultado em 2026-11-15)](https://doi.org/10.5281/zenodo.22820511)
-   [Blog da BroadNet, Uno for vLLM now runs mixture-of-experts models (17 de setembro de 2026; consultado em 2026-11-15) (em inglês)](https://www.broadnet.ai/blog/uno-mixture-of-experts)
-   [BroadNet Research: principais resultados (consultado em 2026-11-15) (em inglês)](https://www.broadnet.ai/research)
-   [Release v0.3.0 do vllm-uno (consultada em 2026-11-15)](https://github.com/brntech/vllm-uno/releases/tag/v0.3.0)
-   [Página do modelo BroadNet Gemma 4 VL 26B: configuração de serving (consultada em 2026-11-15) (em inglês)](https://www.broadnet.ai/inference/models/gemma-4-vl-26b)
