O segundo preprint da BroadNet sobre o Uno aplica pela primeira vez o self-drafting a um modelo mixture of experts. Publicado no Zenodo em 18 de setembro de 2026 com o DOI 10.5281/zenodo.22820511, ele serve o Gemma 4 26B A4B em 4 bits e treina um adapter Uno para ele. O alvo é o mesmo modelo base do BroadNet Gemma 4 VL 26B na BroadNet Inference.
Ele dá sequência ao estudo do Uno no serving com vLLM, que testou um modelo denso de 8B. Os números abaixo são da BroadNet; não os reproduzimos.
Qual era a pergunta?
O speculative decoding rascunha vários tokens e os verifica em uma única passagem. Em um modelo mixture of experts há uma preocupação extra: as linhas do rascunho podem ser roteadas para especialistas diferentes, então rascunhar quatro tokens poderia ler muito mais pesos de especialistas do que gerar um. O artigo pergunta se esse “expert fan-out” deixa o self-drafting caro demais, e quando o self-drafting vence um drafter separado.
Como a BroadNet testou?
Segundo o resumo do artigo e a descrição de métodos da BroadNet:
- Modelo: Gemma 4 26B A4B, cerca de 4B de parâmetros ativos por token, com pesos em 4 bits.
- Hardware: GPUs da classe de 24 GB, uma sequência por vez.
- Carga de trabalho: 72 prompts do tráfego de produção da BroadNet; cada aceleração é dividida por uma execução com decodificação simples na mesma sessão.
- Contexto longo: um conjunto separado de cinco prompts com cerca de 10.500 tokens.
- Adapter: rank 16, treinado em 965 linhas usando o mesmo checkpoint em 4 bits com que é servido, em uma única GPU de 24 GB, sem pesos em precisão total no processo.
O que o estudo encontrou?
| Como o Gemma 4 26B A4B foi decodificado | Aceleração sobre a decodificação simples |
|---|---|
| Decodificação simples | 1,000 |
| Adapter piloto Uno, largura 4 | 1,166 |
| Drafter de multi-token prediction, largura 2 | 1,474 |
| Drafter de blocos, largura 8 | 1,553 |
| Uno com cerca de 10.500 tokens de contexto | 1,089 (drafter MTP: 1,011) |
Outros resultados relatados pela BroadNet:
- O treinamento ajudou. A parcela aceita subiu de 42,4% para 48,9% em 1.500 atualizações, e um corpus maior, de 2.000 linhas, treinado com a mesma receita, fez aceitar 0,49 token de rascunho a mais por passo de verificação do que a execução âncora equivalente.
- O expert fan-out é real, mas barato. Quatro linhas de rascunho tocaram 22 especialistas distintos contra 8 de uma linha só, mas todo o custo ligado às linhas ficou limitado a 0,53 passo em um ciclo de cerca de 2,4. A BroadNet conclui que o custo de roteamento vale “under a fifth of a cycle” (tradução: “menos de um quinto de ciclo”) nessa classe de hardware.
- Sem perdas. A BroadNet criou uma verificação para um perfil cuja saída simples não se reproduz igual entre sessões, e relata o Uno “as close to plain as plain is to itself” (tradução: “tão perto da decodificação simples quanto a decodificação simples está de si mesma”).
- Cinco idiomas. O artigo traz o que chama de primeira medição da aceitação desse adapter em cinco idiomas.
O que isso significa na prática?
A regra do próprio artigo é simples: se existe um bom drafter pequeno para o seu modelo, use-o; o self-drafting se justifica com contexto longo e em modelos que não têm drafter. Isso bate com o que a BroadNet diz usar: seu catálogo lista o Gemma 4 26B em produção com um drafter de multi-token prediction (k=2), com “90%+ acceptance on structured prompts” (tradução: “mais de 90% de aceitação em prompts estruturados”).
Quanto um drafter acrescenta em produção? O catálogo da BroadNet relata que a multi-token prediction acrescentou 48,8% em uma RTX 3090, e a página do Gemma 4 VL 26B informa cerca de 136 tokens por segundo em um único stream com speculative decoding ligado. Ambas são medições da própria BroadNet, na configuração de serving descrita na página do modelo, então a velocidade que você obtém pela API também depende da carga e do tamanho do seu prompt e da resposta.
Para quem compra uma API, a parte útil é o método, não o adapter. A BroadNet diz que todo modelo que serve passa por essa conta antes de chegar a um cliente: medir o custo de um ciclo de rascunho e depois escolher o drafter que vence na carga real. A mesma disciplina a levou a descartar o EAGLE3 para serving saturado.
Quais são os limites?
- Só stream único. Uma sequência por vez, uma execução por variante. O serving em lote se comporta de outro jeito, como mostrou o estudo com o modelo denso.
- Um modelo só. Os resultados valem para o Gemma 4 26B A4B em 4 bits em placas da classe de 24 GB.
- Um preprint. Versão 2.3 no Zenodo, sem revisão por pares, com um arquivo de evidências anexo.
A release v0.3.0 do vllm-uno traz o perfil de serving, uma imagem de contêiner e o registro de validação, então os números podem ser conferidos. Para testar o próprio modelo servido, o playground no navegador da BroadNet roda o Gemma 4 sem conta.
